Doğal dil işleme, bilgi çağının en önemli teknolojilerinden biridir. Geleneksel doğal dil işlemede göreve özel öznitelik mühendisliği ve dile özel çözümler yaygındı. Son zamanlarda
birçok farklı doğal dil işleme görevinde derin öğrenme yaklaşımları ile çok yüksek başarım elde edilmiş ve çok dilli çözümler ortaya konmuştur. Bu ders doğal dil işlemeye
uygulanan derin öğrenmede ileri araştırmaları kapsamaktadır. Ele alınacak konular arasında sözcük vektör gösterimleri, pencere tabanlı sinir ağları, yinelemeli sinir ağları, uzun
ömürlü kısa-dönem bellek modelleri, özyinelemeli ağlar, evrişimsel sinir ağları, bellek bileşeni içeren çok yeni modeller bulunmaktadır. Geniş ölçekli bir doğal dil işleme problemi
üzerinde özel bir yapay sinir ağı çözümünün gerçekleştirimi, eğitilmesi, test edilmesi ve görselleştirilmesini içeren bir dönem projesi verilecektir.

Dersin Amacı

Öğrencileri doğal dil işlemeye uygulanan derin öğrenmede ileri araştırmalar konusunda ilerletmek.

Kaynakça

Goodfellow, I., Bengio, Y., and Courville, A. (2016). Deep Learning: MIT Press. ,Goldberg, Y., &Hirst, G. (2017). Neural Network Methods in Natural Language Processing: Morgan & Claypool Publishers. ,Mikolov, T., Sutskever, I., Chen, K., Corrado, G., &Dean, J. (2013). Distributed representations of words and phrases and their compositionality. In: Advances in Neural Information Processing Systems – Volume 2, Lake Tahoe, Nevada. ,Mikolov, T., Chen, K., Corrado, G.,and Dean, J. (2013). Efficient Estimation of Word Representations in Vector Space. CoRR, abs/1301.3781. ,Pennington, Jeffrey and Socher, Richard and Manning, Christopher D. (2014). Glove: Global Vectors for Word Representation. In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), 14. ,Huang, Eric H., Richard Socher, Christopher D. Manning, and Andrew Y. Ng. 2012. Improving word representations via global context and multiple word prototypes. In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics: Long Papers – Volume 1. Jeju Island, Korea: Association for Computational Linguistics. ,Collobert, Ronan, Jason Weston, #233, onBottou, MichaelKarlen, KorayKavukcuoglu,and PavelKuksa. 2011. Natural Language Processing (Almost) from Scratch. J. Mach. Learn. Res. no.12:2493-2537. ,Hirschberg, J.and Manning, C.D. (2015) Advances in Natural Language Processing. Science, 349, 261-266. , Turney, P. D., &Pantel, P. (2010). From frequency to meaning: vector space models of semantics. J. Artif. Int. Res., 37(1), 141-188.

Öğrenme Çıktıları

Bu dersi tamamladığında öğrenci:
1. Farklı sözcük vektör gösterimlerini işleyebilme
2. Verilen bir doğal dil işleme görevine özel sinir ağı çözümleri tasarlayıp gerçekleştirebilme
3. Bir sinir ağı modeli için deneysel ayarları eniyileyebilme
4. Dönem projesi çıktılarını sunabilme

Grading

Ara Sınav 30%

Araştırma Sunumu 35%

Final 35%