CENG 467

Doğal Dil Anlama ve Üretme

Bu ders, doğal dili anlama ve üretme için derin öğrenme yöntemlerine odaklanmaktadır. Tokenizasyon ve dil modeli ön eğitimi, transformatör mimarisi, makine çevirisi, çözümleme, özet çıkarma, soru cevaplama, komut ince ayarı, doğal dil işlemede etik, bağlam içi öğrenme ve almayla artırılmış üretim konularını kapsamaktadır.

Dersin temel amacı, doğal dil işleme, yapay öğrenme ve programlama konusunda temel bilgi birikimi olan öğrencilerin doğal dili anlama ve üretme konusunda mevcut derin öğrenme teknikleri hakkında daha ileri seviyede bilgi sahibi olmalarıdır. Dersin hedef kitlesi son sınıf lisans öğrencileridir. Ders, doğal dil işleme için derin öğrenme lisansüstü dersi için gerekli altyapıyı sunmaktadır.

Doğal Dil Anlama ve Üretme dersi öğrencilerin Üretici Yapay Zeka alanında araştırma yapma ve bu konuda ürün geliştirme yeteneklerine mezuniyet aşamasında sahip olmalarına katkıda bulunur.

Doğal dil işleme için derin öğrenme yöntemlerini endüstriyel problemlere uygulayabilme
Doğal dil işlemenin sosyal etkilerinin farkında olma ve ilgili etik terminolojiyi bilme
Farklı dil modeli mimarilerini problem çözümlerinde kullanabilme
Farklı doğal dil işleme görevlerini ve özelliklerini listeleyebilme

Ders Kitabı: Speech and Language Processing, D. Jurafsky and J.H. Martin, 3rd Ed., 2025.

Ara Sınav: %30

Ödevler: %30

Final Sınavı: %40

Hafta Konu
1 Giriş
2 Makine Çevirisi ve Koşullu Dil Modelleri
3 Verinin ve Kelimelerin Modellenmesi
4 İleri Beslemeli Dil Modelleri, Yinelemeli Sinir Ağları
5 Diziden Diziye Modeller ve Dikkat Mekanizması, Transformatörler ve Ön Eğitimli Dil Modelleri
6 Çözümleme
7 Komut İnce Ayarı, RLHF ve Parametre Verimli İnce Ayar
8 Özetleme
9 Üretim ve Çevirinin Değerlendirilmesi
10 Doğal Dil İşlemede Etik
11 Bağlam İçi Öğrenme
12 Soru Cevaplama
13 Almayla Artırılmış Üretim
14 Doğal Dil İşleme için Difüzyon Modelleri