CENG 534
Doğal Dil İşleme için Derin Öğrenme
Doğal dil işleme, bilgi çağının en önemli teknolojilerinden biridir. Geleneksel doğal dil işlemede göreve özel öznitelik mühendisliği ve dile özel çözümler yaygındı. Son zamanlarda birçok farklı doğal dil işleme görevinde derin öğrenme yaklaşımları ile çok yüksek başarım elde edilmiş ve çok dilli çözümler ortaya konmuştur. Bu ders doğal dil işlemeye uygulanan derin öğrenmede ileri araştırmaları kapsamaktadır. Ele alınacak konular arasında sözcük vektör gösterimleri, pencere tabanlı sinir ağları, yinelemeli sinir ağları, uzun ömürlü kısa-dönem bellek modelleri, özyinelemeli ağlar, evrişimsel sinir ağları, bellek bileşeni içeren çok yeni modeller bulunmaktadır. Geniş ölçekli bir doğal dil işleme problemi üzerinde özel bir yapay sinir ağı çözümünün gerçekleştirimi, eğitilmesi, test edilmesi ve görselleştirilmesini içeren bir dönem projesi verilecektir.
Hafta | Konu |
---|---|
1 | Doğal dil işlemeye ve derin öğrenmeye giriş |
2 | Basit sözcük vektör gösterimleri: word2vec, GloVe |
3 | İleri sözcük vektör gösterimleri: Dil modelleri, softmax, tek katmanlı ağlar |
4 | Yapay sinir ağları ve geri yayılım–varlık ismi tanıma |
5 | Parametre eniyileme için pratik ipuçları: gradyan kontrolleri, aşırı öğrenme, düzenlileştirme, aktivasyon fonksiyonları, ayrıntılar |
6 | Yinelemeli sinir ağları–dil modelleme ve diğer görevler |
7 | Özyinelemeli sinir ağları–çözümleme |
8 | Genel tekrar |
9 | Evrişimsel sinir ağları—cümle sınıflandırma |
10 | Ses Tanıma |
11 | Makine çevirisi |
12 | Seq2Seq ve geniş ölçekli derin öğrenme |
13 | Doğal dil işlemede derin öğrenmenin geleceği: Dinamik bellek ağları |
14 | Proje Sunumları |
Öğretim Elemanı
- CENG 501
- CENG 502
- CENG 503
- CENG 504
- CENG 505
- CENG 506
- CENG 507
- CENG 508
- CENG 509
- CENG 511
- CENG 512
- CENG 513
- CENG 514
- CENG 515
- CENG 516
- CENG 517
- CENG 518
- CENG 521
- CENG 522
- CENG 523
- CENG 524
- CENG 525
- CENG 531
- CENG 532
- CENG 533
- CENG 541
- CENG 542
- CENG 543
- CENG 544
- CENG 551
- CENG 552
- CENG 555
- CENG 556
- CENG 557
- CENG 561
- CENG 562
- CENG 563
- CENG 564
- CENG 565
- CENG 566
- CENG 600
- CENG 608
- CENG 611
- CENG 612
- CENG 613
- CENG 631
- CENG 632
- CENG 641
- CENG 642
- CENG 643
- CENG 651
- CENG 661
- CENG 662
- CENG 663
- CENG 690