Yuntian Deng
- Professor assistente, Escola de Ciência da Computação da Universidade de Waterloo
- Associate, Harvard SEAS
- Faculty Affiliate, Vector Institute
- Doutorado em Ciência da Computação, Universidade Harvard
Minha pesquisa em processamento de linguagem natural e aprendizado de máquina busca ensinar modelos neurais a realizar cálculos que seriam expressos por programas simbólicos ou etapas explícitas de raciocínio. Meu grupo compila descrições de funções em linguagem natural em programas neurais reutilizáveis (ProgramAsWeights), simula ambientes computacionais interativos com modelos generativos (NeuralOS) e estuda cadeias de pensamento implícitas (Implicit CoT) e a internalização do raciocínio. Também estudamos como as pessoas usam modelos de linguagem por meio das conversas do WildChat e das ferramentas de análise do WildVis.
Desenvolvo sistemas de código aberto e demonstrações interativas para pesquisadores explorarem, avaliarem e darem continuidade a essas ideias. O WildChat foi usado pela OpenAI e pela Anthropic na avaliação de segurança de modelos. Também codesenvolvi o OpenNMT, um conjunto de ferramentas de código aberto para tradução automática neural. Fiz meu doutorado em Ciência da Computação na Universidade Harvard, sob orientação de Alexander Rush e Stuart Shieber, e depois realizei pesquisa de pós-doutorado com Yejin Choi no Allen Institute for AI.
Acredito que pré-treinar modelos para compilar tarefas repetitivas em pequenos programas neurais reutilizáveis, em vez de sempre resolver problemas do zero, é uma das direções mais empolgantes para o futuro da IA.
Linhas de pesquisa
ProgramAsWeights (PAW)
Um novo paradigma de programação: compilar descrições de funções em linguagem natural em programas neurais reutilizáveis, substituindo o código simbólico de funções fuzzy por programas neurais. Nosso objetivo é programar sem usar código como intermediário.
Projeto e demonstrações ·Visão geral da pesquisa ·Lista de leituraModelos de mundo neurais (Neural World Models)
Como modelos generativos aprendem o comportamento de ambientes computacionais interativos? O NeuralOS simula sistemas operacionais de ponta a ponta com modelos generativos neurais, produzindo mudanças na interface em resposta às ações do usuário.
Demonstração interativa ·Lista de leituraCadeia de pensamento implícita (Implicit CoT)
Fomos os primeiros a propor o raciocínio por cadeia de pensamento implícita (Implicit CoT, também chamado latent reasoning) em 2023: modelos de linguagem raciocinam por meio de estados ocultos contínuos, em vez de escrever as etapas intermediárias em palavras. Usamos destilação de conhecimento e treinamos os modelos para internalizar o raciocínio passo a passo (Internalized reasoning).
Artigo de 2023 ·Artigo de 2024 ·Demonstração interativa ·Guia de leitura ·Workshop da ICLR 2026Uso de modelos de linguagem no mundo real
Como as pessoas usam grandes modelos de linguagem na prática? Coletamos e analisamos milhões de conversas reais para estudar padrões de uso, segurança dos modelos e comportamentos emergentes. Também disponibilizamos dados abertos e ferramentas de análise.
WildChat ·AI Observatory ·WildVisArtigos selecionados
Wentao Zhang*, Liliana Hotsko*, Woojeong Kim*, Pengyu Nie, Stuart Shieber, Yuntian Deng.
NeurIPS 2026
Compila descrições de funções em linguagem natural em programas neurais, usando os pesos do modelo para executar os cálculos das funções.
Artigo e projeto Código e recursos
Luke Rivard, Sun Sun, Hongyu Guo, Wenhu Chen, Yuntian Deng.
ICLR 2026
Simula sistemas operacionais de ponta a ponta com modelos generativos neurais, produzindo mudanças na interface a partir das ações do usuário.
Artigo e projeto Código e recursos
Yuntian Deng, Kiran Prasad, Roland Fernandez, Paul Smolensky, Vishrav Chaudhary, Stuart Shieber.
arXiv 2023
Em 2023, propusemos pela primeira vez o raciocínio por cadeia de pensamento implícita por meio de estados ocultos contínuos e usamos destilação de conhecimento para transferir o raciocínio explícito para dentro do modelo.
Artigo e projeto PDF HTML Código e recursos
Yuntian Deng, Yejin Choi, Stuart Shieber.
arXiv 2024
Remove gradualmente as etapas explícitas de raciocínio durante o treinamento para que o modelo aprenda a raciocinar internamente e produzir a resposta diretamente.
Artigo e projeto PDF HTML Código e recursos
Wenting Zhao, Xiang Ren, Jack Hessel, Claire Cardie, Yejin Choi, Yuntian Deng.
ICLR 2024 (Spotlight)
Reúne conversas multilíngues com múltiplos turnos entre usuários reais e o ChatGPT, oferecendo dados para estudar o comportamento dos usuários, a segurança dos modelos e o treinamento de modelos de linguagem.
Artigo e projeto PDF Código e recursosTodas as publicações e referências bibliográficas
Guias de pesquisa
Os guias de pesquisa em modelos de linguagem e aprendizado estruturado apresentam Tree Prompting, modelos baseados em energia, atenção probabilística, decodificação estruturada, avaliação de textos longos, renderização aprendida e treinamento interativo. Os guias reúnem artigos originais, exemplos dos métodos, trabalhos relacionados e referências bibliográficas.
Image-to-Markup e IM2LATEX-100K apresenta nossa pesquisa de 2016–2017 sobre conversão de imagens em LaTeX, junto com o conjunto de dados, o código e as demonstrações interativas.
Faça parte do grupo
Se você deseja fazer parte do meu grupo, comece lendo ProgramAsWeights, NeuralOS e nossos trabalhos sobre cadeia de pensamento implícita (Implicit CoT de 2023; internalização passo a passo de 2024). Ao entrar em contato, descreva brevemente a linha de pesquisa que lhe interessa. Devido ao volume de mensagens, não consigo responder a consultas sem conteúdo específico de pesquisa.