CENG 382
Bilgi Teorisi
Bu ders, Shannon’un bilgi teorisine ve temel gürültülü ve gürültüsüz ikili kodlama tasarılarına giriş niteliğindedir. Bilgi kavramı, entropi, basit kaynaklar, Markov kaynakları, devamlı kaynaklar, bilgi kanalları, ottalama hata, belirsizlik, dönüşüm, kapasite, bozunumsuz kodlama, Kraft-McMillan teoremi, Shannon-Fano ve Huffmann kodlama tasarıları, hata düzeltici kodlar, doğrusal kodlar, devinimsel kodlar, Veri Sıkıştırma.
KONU |
Giriş: İlgili kavramlar. |
Entropy, relative entropy ve mutual information
|
Asymptotic equipartition property |
Entropy rates of stochastic processes |
Data compression -I |
Data compression -II |
Ara sınav |
Channel capacity |
Differential entropy |
The Gaussian channel |
Network Information Theory – I |
Network Information Theory – II |
Relevant topics in Information Theory today |
Rate-distortion |