CENG 534

Doğal Dil İşleme için Derin Öğrenme

Doğal dil işleme, bilgi çağının en önemli teknolojilerinden biridir. Geleneksel doğal dil işlemede göreve özel öznitelik mühendisliği ve dile özel çözümler yaygındı. Son zamanlarda birçok farklı doğal dil işleme görevinde derin öğrenme yaklaşımları ile çok yüksek başarım elde edilmiş ve çok dilli çözümler ortaya konmuştur. Bu ders doğal dil işlemeye uygulanan derin öğrenmede ileri araştırmaları kapsamaktadır. Ele alınacak konular arasında sözcük vektör gösterimleri, pencere tabanlı sinir ağları, yinelemeli sinir ağları, uzun ömürlü kısa-dönem bellek modelleri, özyinelemeli ağlar, evrişimsel sinir ağları, bellek bileşeni içeren çok yeni modeller bulunmaktadır. Geniş ölçekli bir doğal dil işleme problemi üzerinde özel bir yapay sinir ağı çözümünün gerçekleştirimi, eğitilmesi, test edilmesi ve görselleştirilmesini içeren bir dönem projesi verilecektir.

Hafta Konu
1 Doğal dil işlemeye ve derin öğrenmeye giriş
2 Basit sözcük vektör gösterimleri: word2vec, GloVe
3 İleri sözcük vektör gösterimleri: Dil modelleri, softmax, tek katmanlı ağlar
4 Yapay sinir ağları ve geri yayılım–varlık ismi tanıma
5 Parametre eniyileme için pratik ipuçları: gradyan kontrolleri, aşırı öğrenme, düzenlileştirme, aktivasyon fonksiyonları, ayrıntılar
6 Yinelemeli sinir ağları–dil modelleme ve diğer görevler
7 Özyinelemeli sinir ağları–çözümleme
8 Genel tekrar
9 Evrişimsel sinir ağları—cümle sınıflandırma
10 Ses Tanıma
11 Makine çevirisi
12 Seq2Seq ve geniş ölçekli derin öğrenme
13 Doğal dil işlemede derin öğrenmenin geleceği: Dinamik bellek ağları
14 Proje Sunumları