Saya meneliti pemrosesan bahasa alami dan pembelajaran mesin: mengajarkan model neural untuk menjalankan komputasi yang biasanya dinyatakan melalui program simbolik atau langkah penalaran eksplisit. Kelompok saya mengompilasi deskripsi fungsi dalam bahasa alami menjadi program neural yang dapat digunakan kembali (ProgramAsWeights), menyimulasikan lingkungan komputasi interaktif dengan model generatif (NeuralOS), serta mempelajari rantai pemikiran implisit (Implicit CoT) dan internalisasi penalaran. Kami juga meneliti penggunaan model bahasa melalui percakapan WildChat dan alat analisis WildVis.
Saya membangun sistem sumber terbuka dan demo interaktif agar peneliti dapat mengeksplorasi, mengevaluasi, dan mengembangkan ide-ide ini. OpenAI dan Anthropic telah menggunakan WildChat untuk mengevaluasi keamanan model. Saya juga turut mengembangkan OpenNMT, perangkat sumber terbuka untuk penerjemahan mesin neural yang digunakan secara luas dalam riset dan industri. Saya meraih PhD Ilmu Komputer di Harvard University dengan bimbingan Alexander Rush dan Stuart Shieber, lalu menjalani riset pascadoktoral bersama Yejin Choi di Allen Institute for AI.
Saya percaya bahwa prapelatihan model untuk mengompilasi tugas berulang menjadi program neural kecil yang dapat digunakan kembali, alih-alih selalu menyelesaikan masalah dari nol, adalah salah satu arah masa depan AI yang paling menarik.
Arah riset
ProgramAsWeights (PAW)
Paradigma pemrograman baru: mengompilasi spesifikasi fungsi dalam bahasa alami menjadi program neural yang dapat digunakan kembali, menggantikan kode simbolik untuk fungsi fuzzy. Tujuan kami adalah pemrograman tanpa perantara kode.
Proyek dan demo ·Ikhtisar riset ·Daftar bacaanModel dunia neural (Neural World Models)
Bagaimana model generatif mempelajari perilaku lingkungan komputasi interaktif? NeuralOS menyimulasikan sistem operasi secara menyeluruh dengan model generatif neural yang menghasilkan perubahan antarmuka sebagai respons terhadap tindakan pengguna.
Demo interaktif ·Daftar bacaanRantai pemikiran implisit (Implicit CoT)
Kami adalah yang pertama mengusulkan penalaran dengan rantai pemikiran implisit (Implicit CoT, juga disebut latent reasoning) pada 2023: model bahasa bernalar melalui keadaan tersembunyi kontinu, bukan dengan menuliskan langkah perantara dalam kata-kata. Metode kami mencakup distilasi pengetahuan dan pelatihan untuk menginternalisasi penalaran langkah demi langkah (Internalized reasoning).
Makalah 2023 ·Makalah 2024 ·Demo interaktif ·Panduan bacaan ·Lokakarya ICLR 2026Penggunaan model bahasa di dunia nyata
Bagaimana orang menggunakan model bahasa besar dalam praktik? Kami mengumpulkan dan menganalisis jutaan percakapan nyata untuk mempelajari pola penggunaan, keamanan model, dan perilaku yang muncul, serta menyediakan data terbuka dan alat analisis.
WildChat ·AI Observatory ·WildVisMakalah pilihan
Wentao Zhang*, Liliana Hotsko*, Woojeong Kim*, Pengyu Nie, Stuart Shieber, Yuntian Deng.
NeurIPS 2026
Mengompilasi spesifikasi fungsi dalam bahasa alami menjadi program neural, dengan bobot model yang menjalankan komputasi fungsi tersebut.
Makalah dan proyek Kode dan sumber daya
Luke Rivard, Sun Sun, Hongyu Guo, Wenhu Chen, Yuntian Deng.
ICLR 2026
Menyimulasikan sistem operasi secara menyeluruh dengan model generatif neural yang menghasilkan perubahan antarmuka berdasarkan tindakan pengguna.
Makalah dan proyek Kode dan sumber daya
Yuntian Deng, Kiran Prasad, Roland Fernandez, Paul Smolensky, Vishrav Chaudhary, Stuart Shieber.
arXiv 2023
Pada 2023, kami menjadi yang pertama mengusulkan penalaran dengan rantai pemikiran implisit melalui keadaan tersembunyi kontinu, dan menggunakan distilasi pengetahuan untuk memindahkan penalaran eksplisit ke dalam model.
Makalah dan proyek PDF HTML Kode dan sumber daya
Yuntian Deng, Yejin Choi, Stuart Shieber.
arXiv 2024
Secara bertahap menghapus langkah penalaran eksplisit selama pelatihan untuk mengajarkan model bernalar secara internal dan langsung menghasilkan jawaban.
Makalah dan proyek PDF HTML Kode dan sumber daya
Wenting Zhao, Xiang Ren, Jack Hessel, Claire Cardie, Yejin Choi, Yuntian Deng.
ICLR 2024 (Spotlight)
Mengumpulkan percakapan multibahasa yang mencakup banyak giliran antara pengguna nyata dan ChatGPT untuk mempelajari perilaku pengguna, keamanan model, dan pelatihan model bahasa.
Makalah dan proyek PDF Kode dan sumber dayaPanduan riset
Panduan riset model bahasa dan pembelajaran terstruktur membahas Tree Prompting, model berbasis energi, perhatian probabilistik, dekode terstruktur, evaluasi teks panjang, rendering melalui pembelajaran, dan pelatihan interaktif. Panduan ini memuat makalah asli, contoh metode, penelitian terkait, dan sitasi.
Image-to-Markup dan IM2LATEX-100K menyajikan riset kami pada 2016–2017 tentang konversi gambar menjadi LaTeX, beserta dataset, kode, dan demo interaktif.
Bergabung dengan kelompok
Jika ingin bergabung dengan kelompok saya, mulailah dengan membaca ProgramAsWeights, NeuralOS, dan riset kami tentang rantai pemikiran implisit (Implicit CoT 2023; internalisasi bertahap 2024). Dalam pesan Anda, jelaskan secara singkat arah riset yang menarik bagi Anda. Karena banyaknya pesan yang masuk, saya tidak dapat membalas pertanyaan yang tidak membahas topik riset tertentu.