CENG 382
Bilgi Teorisi
Ders, bilgi kuramı temellerini öğretmeyi hedefler. İçerik olarak; “Shannon’s information theory and elementary binary coding schemes with and without noise, information, entropy, simple sources, Markov sources, continuous sources, information channels, average error, ambiguity, transformation, capacity, noiseless coding, Kraft-McMillan theorem, Shannon-Fano and Huffmann coding schemes, error-correcting codes, linear codes, cyclic code ve Data Compression” konuları işlenir.
Dersin Amacı:
Bilgi kuramının temel kavramlarının öğrenilmesi. Bilgi iletişimi ve sinyal işlemede problemlerin nasıl tanımlanacağı, formüle edileceğinin öğrenilmesi. Bilgi iletişimi ve sinyal işlemede problemlerin nasıl çözümlenebileceğinin öğrenilmesi.
Kaynakça:
T. M. Cover, J. A. Thomas, ‘Elements of Information Theory’, 2nd. Edition, Wiley,2006 ,P. S. Nuggehalli, ‘Information Theory and Coding’, CEDT, IISc, Bangalore, http://nptel.iitm.ac.in/courses/Webcourse-contents/IISc-BANG/Information%20Theory%20and%20Coding/Learning%20Material%20-%20ITC.pdf ,R. G. Gallager, ‘Principles of Digital Communication’, Chapters 1 to 3, Cambridge Univ. Press, 2008 ,R. G. Gallager, ‘MIT 6.450 Principles of Digital Communications I, Lectures 1 to 7’; YouTube: MIT OCW, 2006 ,R. W. Yeung, ‘A First Course in Information Theory’, NY: Kluwer Academic/Plemu Publishers, 2002 ,A. E. Gamal and Y.-H. Kim, ‘Lecture Notes on Network Information Theory’, online, 2010
Öğrenim Çıktıları:
1. Bilgi kuramının temel kavramlarını kullanarak bilgi iletişimi ve sinyal işlemede problemleri analiz etmek ve modellemek.
2. Teknolojik değişim ve yeni gereksinimlere göre bilgi kuramının eksikliklerini analiz etme, tanımlama ve araştırma yapabilme becerisine sahip olma
3. Bilgi kuramını disiplinler arası çalışmalar için analiz etme ve geliştirme becerisini edinme.
4. Var olan bilgi iletişim ve sinyal işleme kalitesini ve verimliliğini analiz etme ve ölçme becerisine sahip olma.
| KONU |
| Giriş: İlgili kavramlar. |
|
Entropy, relative entropy ve mutual information
|
| Asymptotic equipartition property |
| Entropy rates of stochastic processes |
| Data compression -I |
| Data compression -II |
| Ara sınav |
| Channel capacity |
| Differential entropy |
| The Gaussian channel |
| Network Information Theory – I |
| Network Information Theory – II |
| Relevant topics in Information Theory today |
| Rate-distortion |
Notlandırma:
Vize: %25
Ödev: %20
Araştırma Sunumu: %20
Final: %35
