Yuntian Deng
- Assistant Professor, School of Computer Science, University of Waterloo
- Associate, Harvard SEAS
- Faculty Affiliate, Vector Institute
- PhD по информатике, Harvard University
В исследованиях обработки естественного языка и машинного обучения я изучаю, как нейронные модели осваивают вычисления, которые обычно выражают символическими программами или явными шагами рассуждения. Моя группа компилирует описания функций на естественном языке в многократно используемые нейронные программы (ProgramAsWeights), моделирует интерактивные компьютерные среды с помощью генеративных моделей (NeuralOS) и исследует неявные цепочки рассуждений (Implicit CoT) и интернализацию рассуждений. Мы также изучаем использование языковых моделей на основе диалогов WildChat и инструментов анализа WildVis.
Я разрабатываю системы с открытым исходным кодом и интерактивные демонстрации, чтобы другие исследователи могли изучать, оценивать и развивать эти идеи. OpenAI и Anthropic использовали WildChat для оценки безопасности своих моделей. Я также совместно разработал OpenNMT — набор инструментов с открытым исходным кодом для нейронного машинного перевода, который широко используется в исследованиях и промышленности. Я получил степень PhD по информатике в Harvard University под руководством Alexander Rush и Stuart Shieber, а затем работал постдокторантом с Yejin Choi в Allen Institute for AI.
Одно из самых интересных для меня направлений развития ИИ — предобучение моделей, которые компилируют повторяющиеся задачи в небольшие нейронные программы для многократного использования, вместо того чтобы каждый раз решать задачу с нуля.
Направления исследований
ProgramAsWeights (PAW)
Новая парадигма программирования: описания функций на естественном языке компилируются в нейронные программы для многократного использования, заменяя символический код нечетких функций. Наша цель — программирование без кода как промежуточного представления.
Проект и демонстрации ·Обзор исследований ·Список литературыНейронные модели мира (Neural World Models)
Как генеративные модели учатся воспроизводить поведение интерактивных компьютерных сред? NeuralOS моделирует операционные системы целиком с помощью нейронных генеративных моделей, создавая изменения интерфейса в ответ на действия пользователя.
Интерактивная демонстрация ·Список литературыНеявная цепочка рассуждений (Implicit CoT)
В 2023 году мы первыми предложили рассуждение с неявной цепочкой рассуждений (Implicit CoT, также известное как latent reasoning): языковые модели рассуждают с помощью непрерывных скрытых состояний, не записывая промежуточные шаги словами. Наша работа включает дистилляцию знаний и пошаговую интернализацию рассуждений (Internalized reasoning).
Статья 2023 года ·Статья 2024 года ·Интерактивная демонстрация ·Список литературы ·Воркшоп ICLR 2026Использование языковых моделей на практике
Как люди используют большие языковые модели? Мы собираем и анализируем миллионы реальных диалогов, чтобы изучать способы использования, безопасность моделей и возникающие формы поведения. Мы публикуем открытые данные и инструменты анализа.
WildChat ·AI Observatory ·WildVisИзбранные статьи
Wentao Zhang*, Liliana Hotsko*, Woojeong Kim*, Pengyu Nie, Stuart Shieber, Yuntian Deng.
NeurIPS 2026
Компилирует описания функций на естественном языке в нейронные программы, используя веса модели для выполнения вычислений этих функций.
Статья и проект Код и материалы
Luke Rivard, Sun Sun, Hongyu Guo, Wenhu Chen, Yuntian Deng.
ICLR 2026
Моделирует операционные системы целиком с помощью нейронных генеративных моделей, создавая изменения интерфейса на основе действий пользователя.
Статья и проект Код и материалы
Yuntian Deng, Kiran Prasad, Roland Fernandez, Paul Smolensky, Vishrav Chaudhary, Stuart Shieber.
arXiv 2023
В 2023 году мы первыми предложили рассуждение с неявной цепочкой рассуждений через непрерывные скрытые состояния и применили дистилляцию знаний для переноса явных рассуждений внутрь модели.
Статья и проект PDF HTML Код и материалы
Yuntian Deng, Yejin Choi, Stuart Shieber.
arXiv 2024
Постепенно удаляет явные шаги рассуждения при обучении, чтобы модель научилась рассуждать внутри себя и сразу выдавать ответ.
Статья и проект PDF HTML Код и материалы
Wenting Zhao, Xiang Ren, Jack Hessel, Claire Cardie, Yejin Choi, Yuntian Deng.
ICLR 2024 (Spotlight)
Содержит многоязычные многоходовые диалоги реальных пользователей с ChatGPT для исследования поведения пользователей, безопасности моделей и обучения языковых моделей.
Статья и проект PDF Код и материалыВсе публикации и библиографические ссылки
Обзоры исследований
Обзоры исследований языковых моделей и структурного обучения посвящены Tree Prompting, энергетическим моделям, вероятностному вниманию, структурному декодированию, оценке длинных текстов, рендерингу через обучение и интерактивному обучению. В них собраны оригинальные статьи, примеры методов, связанные работы и библиографические ссылки.
Image-to-Markup и IM2LATEX-100K представляет наши работы 2016–2017 годов по преобразованию изображений в LaTeX, а также набор данных, код и интерактивные демонстрации.
Присоединиться к группе
Если вы хотите присоединиться к моей группе, начните с работ о ProgramAsWeights, NeuralOS и неявных цепочках рассуждений (Implicit CoT, 2023; пошаговая интернализация, 2024). В сообщении кратко опишите интересующее вас направление исследований. Из-за большого числа писем я не могу отвечать на обращения без конкретной исследовательской темы.