我研究自然语言处理与机器学习：让神经模型学会原本通过符号程序或显式推理步骤完成的计算。我的研究组将自然语言函数描述编译成可复用的神经程序（ProgramAsWeights），用生成模型模拟交互式计算环境（NeuralOS），并研究隐式思维链（Implicit CoT）与推理内化。我们也通过 WildChat 对话数据和 WildVis 分析工具，研究人们如何使用语言模型。
我开发开源系统和交互演示，供研究者体验、评测和开展后续研究。WildChat 已被 OpenAI 和 Anthropic 用于模型安全评测。我也是开源神经机器翻译工具包 OpenNMT 的共同开发者。我在哈佛大学获得计算机科学博士学位，导师是 Alexander Rush 和 Stuart Shieber，之后在 Allen Institute for AI 与 Yejin Choi 合作开展博士后研究。
我认为，通过预训练让模型把重复任务编译成小型、可复用的神经程序，而不是每次都从头求解，是人工智能未来最令人兴奋的方向之一。
研究方向
ProgramAsWeights（PAW）
一种新的编程范式：将自然语言函数描述编译成可复用的神经程序，用神经程序替代模糊函数的符号代码。我们的目标是不以代码为中介的编程。
项目与演示 · 研究介绍 · 阅读清单神经世界模型（Neural World Models）
生成模型如何学会交互式计算环境的行为？NeuralOS 用神经生成模型端到端模拟操作系统，让模型根据用户操作生成界面变化。
交互演示 · 阅读清单隐式思维链（Implicit CoT）
我们于 2023 年首次提出隐式思维链推理（Implicit CoT，也称 latent reasoning）：让语言模型通过连续隐藏状态推理，而不是把中间步骤写成文字。我们的方法包括知识蒸馏和逐步内化推理（Internalized reasoning）。
2023 论文 · 2024 论文 · 交互演示 · 论文导读 · ICLR 2026 研讨会真实场景中的语言模型使用
人们实际怎样使用大语言模型？我们收集和分析数百万条真实对话，研究使用模式、模型安全与涌现行为，并提供开放的数据和分析工具。
WildChat · AI Observatory · WildVis代表论文
Wentao Zhang*, Liliana Hotsko*, Woojeong Kim*, Pengyu Nie, Stuart Shieber, Yuntian Deng.
NeurIPS 2026
将自然语言函数描述编译成神经程序，用模型权重执行函数计算。
论文与项目 代码与资源
Luke Rivard, Sun Sun, Hongyu Guo, Wenhu Chen, Yuntian Deng.
ICLR 2026
用神经生成模型端到端模拟操作系统，根据用户操作生成界面变化。
论文与项目 代码与资源
Yuntian Deng, Kiran Prasad, Roland Fernandez, Paul Smolensky, Vishrav Chaudhary, Stuart Shieber.
arXiv 2023
2023 年首次提出通过连续隐藏状态进行隐式思维链推理，并用知识蒸馏将显式推理过程迁移到模型内部。
论文与项目 PDF HTML 代码与资源
Yuntian Deng, Yejin Choi, Stuart Shieber.
arXiv 2024
逐步移除训练中的显式推理步骤，让模型学会在内部完成推理，直接输出答案。
论文与项目 PDF HTML 代码与资源
Wenting Zhao, Xiang Ren, Jack Hessel, Claire Cardie, Yejin Choi, Yuntian Deng.
ICLR 2024 (Spotlight)
收集真实用户与 ChatGPT 的多语言、多轮对话，为用户行为、模型安全与语言模型训练提供研究数据。
论文与项目 PDF 代码与资源研究导读
语言模型与结构化学习研究导读介绍 Tree Prompting、能量模型、概率注意力、结构化解码、长文本评估、学习式渲染和交互式训练，提供原始论文、方法示例、相关工作与引用。
Image-to-Markup 与 IM2LATEX-100K介绍我们在 2016–2017 年开展的图像转 LaTeX 研究，以及数据集、代码和交互演示。
加入研究组
如果你希望加入我的研究组，请先阅读 ProgramAsWeights、NeuralOS 和我们的隐式思维链研究（2023 年隐式思维链；2024 年逐步内化）。联系时，请简要说明你感兴趣的研究方向。由于来信量大，我无法回复没有具体研究内容的咨询。