Doğal dil işleme ve makine öğrenmesi alanlarında, genellikle sembolik programlarla veya açık akıl yürütme adımlarıyla ifade edilen hesaplamaları sinirsel modellere öğretmek üzerine çalışıyorum. Grubum, doğal dildeki fonksiyon tanımlarını yeniden kullanılabilir sinirsel programlara derliyor (ProgramAsWeights), etkileşimli bilgisayar ortamlarını üretici modellerle simüle ediyor (NeuralOS) ve örtük düşünce zincirlerini (Implicit CoT) ve akıl yürütmenin içselleştirilmesini araştırıyor. Ayrıca WildChat konuşmaları ve WildVis analiz araçlarıyla dil modellerinin gerçek dünyadaki kullanımını inceliyoruz.
Araştırmacıların bu fikirleri keşfetmesi, değerlendirmesi ve geliştirmesi için açık kaynaklı sistemler ve etkileşimli demolar geliştiriyorum. OpenAI ve Anthropic, model güvenliğini değerlendirmek için WildChat’i kullandı. Araştırma ve endüstride yaygın olarak kullanılan, sinirsel makine çevirisi için açık kaynaklı bir araç seti olan OpenNMT’nin ortak geliştiricilerinden biriyim. Harvard University’de Alexander Rush ve Stuart Shieber danışmanlığında bilgisayar bilimi doktoramı tamamladım. Ardından Allen Institute for AI’da Yejin Choi ile doktora sonrası araştırmalar yaptım.
Modelleri, her problemi baştan çözmek yerine tekrarlanan görevleri küçük ve yeniden kullanılabilir sinirsel programlara derleyecek şekilde ön eğitmenin, yapay zekânın geleceği için en heyecan verici araştırma yönlerinden biri olduğuna inanıyorum.
Araştırma alanları
ProgramAsWeights (PAW)
Yeni bir programlama paradigması: doğal dildeki fonksiyon tanımlarını yeniden kullanılabilir sinirsel programlara derleyerek bulanık fonksiyonlar için sembolik kodun yerini almak. Amacımız, kodu aracı olarak kullanmadan programlamak.
Proje ve demolar ·Araştırmaya genel bakış ·Okuma listesiSinirsel dünya modelleri (Neural World Models)
Üretici modeller, etkileşimli bilgisayar ortamlarının davranışını nasıl öğrenir? NeuralOS, kullanıcı eylemlerine yanıt olarak arayüz değişiklikleri üreten sinirsel üretici modellerle işletim sistemlerini uçtan uca simüle eder.
Etkileşimli demo ·Okuma listesiÖrtük düşünce zinciri (Implicit CoT)
Örtük düşünce zinciriyle akıl yürütmeyi (Implicit CoT, latent reasoning olarak da adlandırılır) ilk kez biz 2023’te önerdik: dil modelleri, ara adımları sözcüklerle yazmak yerine sürekli gizli durumlar üzerinden akıl yürütür. Yöntemlerimiz arasında bilgi damıtma ve akıl yürütmeyi adım adım içselleştirmeyi öğrenme (Internalized reasoning) yer alır.
2023 makalesi ·2024 makalesi ·Etkileşimli demo ·Okuma rehberi ·ICLR 2026 çalıştayıDil modellerinin gerçek dünyadaki kullanımı
İnsanlar büyük dil modellerini pratikte nasıl kullanıyor? Kullanım biçimlerini, model güvenliğini ve ortaya çıkan davranışları incelemek için milyonlarca gerçek konuşmayı topluyor ve analiz ediyoruz. Açık veri ve analiz araçları yayımlıyoruz.
WildChat ·AI Observatory ·WildVisSeçilmiş makaleler
Wentao Zhang*, Liliana Hotsko*, Woojeong Kim*, Pengyu Nie, Stuart Shieber, Yuntian Deng.
NeurIPS 2026
Doğal dildeki fonksiyon tanımlarını sinirsel programlara derler; fonksiyonların hesaplamalarını model ağırlıklarıyla yürütür.
Makale ve proje Kod ve kaynaklar
Luke Rivard, Sun Sun, Hongyu Guo, Wenhu Chen, Yuntian Deng.
ICLR 2026
Kullanıcı eylemlerinden arayüz değişiklikleri üreten sinirsel üretici modellerle işletim sistemlerini uçtan uca simüle eder.
Makale ve proje Kod ve kaynaklar
Yuntian Deng, Kiran Prasad, Roland Fernandez, Paul Smolensky, Vishrav Chaudhary, Stuart Shieber.
arXiv 2023
2023’te, sürekli gizli durumlar üzerinden örtük düşünce zinciriyle akıl yürütmeyi ilk kez biz önerdik ve açık akıl yürütmeyi modelin içine aktarmak için bilgi damıtma kullandık.
Makale ve proje PDF HTML Kod ve kaynaklar
Yuntian Deng, Yejin Choi, Stuart Shieber.
arXiv 2024
Modele içsel olarak akıl yürütmeyi ve doğrudan yanıt üretmeyi öğretmek için eğitim sırasında açık akıl yürütme adımlarını aşamalı olarak kaldırır.
Makale ve proje PDF HTML Kod ve kaynaklar
Wenting Zhao, Xiang Ren, Jack Hessel, Claire Cardie, Yejin Choi, Yuntian Deng.
ICLR 2024 (Spotlight)
Kullanıcı davranışını, model güvenliğini ve dil modeli eğitimini incelemek için gerçek kullanıcılarla ChatGPT arasındaki çok dilli ve çok turlu konuşmaları bir araya getirir.
Makale ve proje PDF Kod ve kaynaklarTüm yayınlar ve atıf bilgileri
Araştırma rehberleri
Dil modelleri ve yapılandırılmış öğrenme araştırma rehberleri; Tree Prompting, enerji tabanlı modeller, olasılıksal dikkat, yapılandırılmış kod çözme, uzun metin değerlendirmesi, öğrenme yoluyla görüntü oluşturma ve etkileşimli eğitimi ele alır. Özgün makaleleri, yöntem örneklerini, ilgili çalışmaları ve atıf bilgilerini bir araya getirir.
Image-to-Markup ve IM2LATEX-100K, görüntüleri LaTeX’e dönüştürme üzerine 2016–2017’de yaptığımız çalışmaları veri seti, kod ve etkileşimli demolarla sunar.
Gruba katılın
Grubuma katılmak istiyorsanız önce ProgramAsWeights, NeuralOS ve örtük düşünce zinciri çalışmalarımızı okuyun (2023 Implicit CoT; 2024 adım adım içselleştirme). Mesajınızda hangi araştırma alanının ilginizi çektiğini kısaca açıklayın. Gelen mesajların sayısı nedeniyle belirli bir araştırma konusundan söz etmeyen başvurulara yanıt veremiyorum.