CENG 382

Bilgi Teorisi

Bu ders, Shannon’un bilgi teorisine ve temel gürültülü ve gürültüsüz ikili kodlama tasarılarına giriş niteliğindedir. Bilgi kavramı, entropi, basit kaynaklar, Markov kaynakları, devamlı kaynaklar, bilgi kanalları, ottalama hata, belirsizlik, dönüşüm, kapasite, bozunumsuz kodlama, Kraft-McMillan teoremi, Shannon-Fano ve Huffmann kodlama tasarıları, hata düzeltici kodlar, doğrusal kodlar, devinimsel kodlar, Veri Sıkıştırma.

KONU
Giriş: İlgili kavramlar.
Entropy, relative entropy ve mutual information
Asymptotic equipartition property
Entropy rates of stochastic processes
Data compression -I
Data compression -II
Ara sınav
Channel capacity
Differential entropy
The Gaussian channel
Network Information Theory – I
Network Information Theory – II
Relevant topics in Information Theory today
Rate-distortion