Yuntian Deng
- Assistant Professor, School of Computer Science, University of Waterloo
- Associate, Harvard SEAS
- Faculty Affiliate, Vector Institute
- Dottorato in informatica, Harvard University
La mia ricerca nell’elaborazione del linguaggio naturale e nell’apprendimento automatico studia come i modelli neurali apprendono calcoli che altrimenti sarebbero espressi con programmi simbolici o passaggi di ragionamento espliciti. Il mio gruppo compila descrizioni di funzioni in linguaggio naturale in programmi neurali riutilizzabili (ProgramAsWeights), simula ambienti informatici interattivi con modelli generativi (NeuralOS) e studia le catene di pensiero implicite (Implicit CoT) e l’internalizzazione del ragionamento. Analizziamo anche l’uso dei modelli linguistici attraverso le conversazioni di WildChat e gli strumenti di analisi di WildVis.
Sviluppo sistemi open source e demo interattive per permettere ad altri ricercatori di esplorare, valutare e sviluppare queste idee. OpenAI e Anthropic hanno usato WildChat per valutare la sicurezza dei loro modelli. Ho inoltre co-sviluppato OpenNMT, un toolkit open source per la traduzione automatica neurale ampiamente usato nella ricerca e nell’industria. Ho conseguito il dottorato in informatica alla Harvard University sotto la supervisione di Alexander Rush e Stuart Shieber, per poi svolgere ricerca post-dottorale con Yejin Choi all’Allen Institute for AI.
Preaddestrare i modelli a compilare compiti ripetitivi in piccoli programmi neurali riutilizzabili, anziché risolvere ogni problema da zero, è per me una delle direzioni più entusiasmanti per il futuro dell’IA.
Linee di ricerca
ProgramAsWeights (PAW)
Un nuovo paradigma di programmazione: compilare descrizioni di funzioni in linguaggio naturale in programmi neurali riutilizzabili, che sostituiscono il codice simbolico per le funzioni fuzzy. Il nostro obiettivo è programmare senza usare il codice come intermediario.
Progetto e demo ·Panoramica della ricerca ·Lista di lettureModelli neurali del mondo (Neural World Models)
Come apprendono i modelli generativi il comportamento degli ambienti informatici interattivi? NeuralOS simula interi sistemi operativi con modelli generativi neurali, producendo i cambiamenti dell’interfaccia in risposta alle azioni dell’utente.
Demo interattiva ·Lista di lettureCatena di pensiero implicita (Implicit CoT)
Nel 2023 abbiamo proposto per primi il ragionamento a catena di pensiero implicita (Implicit CoT, detto anche latent reasoning): i modelli linguistici ragionano attraverso stati nascosti continui, anziché scrivere i passaggi intermedi in parole. Il nostro lavoro comprende la distillazione della conoscenza e l’internalizzazione del ragionamento passo dopo passo (Internalized reasoning).
Articolo del 2023 ·Articolo del 2024 ·Demo interattiva ·Guida alle letture ·Workshop ICLR 2026Uso reale dei modelli linguistici
Come vengono usati i grandi modelli linguistici nella pratica? Raccogliamo e analizziamo milioni di conversazioni reali per studiare modalità d’uso, sicurezza dei modelli e comportamenti emergenti. Mettiamo a disposizione dati aperti e strumenti di analisi.
WildChat ·AI Observatory ·WildVisArticoli selezionati
Wentao Zhang*, Liliana Hotsko*, Woojeong Kim*, Pengyu Nie, Stuart Shieber, Yuntian Deng.
NeurIPS 2026
Compila descrizioni di funzioni in linguaggio naturale in programmi neurali, usando i pesi del modello per eseguire i calcoli delle funzioni.
Articolo e progetto Codice e risorse
Luke Rivard, Sun Sun, Hongyu Guo, Wenhu Chen, Yuntian Deng.
ICLR 2026
Simula interi sistemi operativi con modelli generativi neurali, producendo i cambiamenti dell’interfaccia a partire dalle azioni dell’utente.
Articolo e progetto Codice e risorse
Yuntian Deng, Kiran Prasad, Roland Fernandez, Paul Smolensky, Vishrav Chaudhary, Stuart Shieber.
arXiv 2023
Nel 2023 abbiamo proposto per primi il ragionamento a catena di pensiero implicita attraverso stati nascosti continui e usato la distillazione della conoscenza per trasferire il ragionamento esplicito all’interno del modello.
Articolo e progetto PDF HTML Codice e risorse
Yuntian Deng, Yejin Choi, Stuart Shieber.
arXiv 2024
Rimuove progressivamente i passaggi di ragionamento espliciti durante l’addestramento, insegnando al modello a ragionare internamente e a produrre direttamente la risposta.
Articolo e progetto PDF HTML Codice e risorse
Wenting Zhao, Xiang Ren, Jack Hessel, Claire Cardie, Yejin Choi, Yuntian Deng.
ICLR 2024 (Spotlight)
Raccoglie conversazioni multilingue a più turni tra utenti reali e ChatGPT per studiare il comportamento degli utenti, la sicurezza dei modelli e l’addestramento dei modelli linguistici.
Articolo e progetto PDF Codice e risorseTutte le pubblicazioni e i riferimenti bibliografici
Guide alla ricerca
Le guide alla ricerca sui modelli linguistici e sull’apprendimento strutturato presentano Tree Prompting, modelli basati sull’energia, attenzione probabilistica, decodifica strutturata, valutazione di testi lunghi, rendering tramite addestramento e addestramento interattivo. Raccolgono articoli originali, esempi dei metodi, lavori correlati e riferimenti bibliografici.
Image-to-Markup e IM2LATEX-100K presenta i nostri lavori del 2016–2017 sulla conversione di immagini in LaTeX, insieme al dataset, al codice e alle demo interattive.
Unirsi al gruppo
Se desideri unirti al mio gruppo, inizia leggendo i lavori su ProgramAsWeights, NeuralOS e le catene di pensiero implicite (Implicit CoT del 2023; internalizzazione progressiva del 2024). Nel messaggio, descrivi brevemente la linea di ricerca che ti interessa. Dato il volume di messaggi ricevuti, non posso rispondere alle richieste che non affrontano un tema di ricerca preciso.