저는 자연어 처리와 기계학습을 연구합니다. 기호 프로그램이나 명시적인 추론 단계로 수행하던 계산을 신경 모델이 학습하게 하는 것이 연구의 중심입니다. 저희 연구실은 자연어로 작성된 함수 명세를 재사용 가능한 신경 프로그램으로 컴파일하고(ProgramAsWeights), 생성 모델로 상호작용이 가능한 컴퓨팅 환경을 시뮬레이션하며(NeuralOS), 암묵적 사고 사슬(Implicit CoT)과 추론 내재화를 연구합니다. 또한 WildChat 대화 데이터와 WildVis 분석 도구를 통해 사람들이 언어 모델을 어떻게 사용하는지 연구합니다.
연구자들이 직접 사용하고 평가하며 후속 연구에 활용할 수 있도록 오픈소스 시스템과 인터랙티브 데모를 개발합니다. OpenAI와 Anthropic은 모델 안전성 평가에 WildChat을 사용했습니다. 저는 오픈소스 신경 기계번역 툴킷 OpenNMT의 공동 개발자이기도 합니다. 하버드대학교에서 Alexander Rush와 Stuart Shieber의 지도로 컴퓨터과학 박사학위를 받았고, 이후 Allen Institute for AI에서 Yejin Choi와 함께 박사후 연구를 수행했습니다.
저는 모델이 매번 문제를 처음부터 푸는 대신, 반복되는 작업을 작고 재사용 가능한 신경 프로그램으로 컴파일하도록 사전학습하는 것이 AI의 미래에서 가장 흥미로운 연구 방향 중 하나라고 생각합니다.
연구 분야
ProgramAsWeights (PAW)
자연어 함수 명세를 재사용 가능한 신경 프로그램으로 컴파일하고, 퍼지 함수(fuzzy functions)의 기호 코드를 신경 프로그램으로 대체하는 새로운 프로그래밍 패러다임입니다. 저희의 목표는 코드를 중간 단계로 거치지 않는 프로그래밍입니다.
프로젝트 및 데모 ·연구 소개 ·읽을 논문신경 세계 모델(Neural World Models)
생성 모델은 상호작용이 가능한 컴퓨팅 환경의 동작을 어떻게 학습할까요? NeuralOS는 신경 생성 모델로 운영체제를 엔드투엔드로 시뮬레이션하며, 사용자의 동작에 따른 화면 변화를 생성합니다.
인터랙티브 데모 ·읽을 논문암묵적 사고 사슬(Implicit CoT)
저희는 2023년에 암묵적 사고 사슬 추론(Implicit CoT, latent reasoning으로도 불림)을 최초로 제안했습니다. 언어 모델이 중간 단계를 글로 쓰는 대신 연속적인 은닉 상태를 통해 추론하는 방식입니다. 저희의 방법에는 지식 증류와 단계적 추론 내재화(Internalized reasoning)가 포함됩니다.
2023년 논문 ·2024년 논문 ·인터랙티브 데모 ·논문 가이드 ·ICLR 2026 워크숍실제 환경에서의 언어 모델 사용
사람들은 대규모 언어 모델을 실제로 어떻게 사용할까요? 저희는 수백만 건의 실제 대화를 수집하고 분석해 사용 패턴, 모델 안전성, 창발적 행동을 연구하며, 데이터와 분석 도구를 공개합니다.
WildChat ·AI Observatory ·WildVis주요 논문
Wentao Zhang*, Liliana Hotsko*, Woojeong Kim*, Pengyu Nie, Stuart Shieber, Yuntian Deng.
NeurIPS 2026
자연어 함수 명세를 신경 프로그램으로 컴파일하고, 모델 가중치로 함수 계산을 수행합니다.
논문 및 프로젝트 코드 및 자료
Luke Rivard, Sun Sun, Hongyu Guo, Wenhu Chen, Yuntian Deng.
ICLR 2026
신경 생성 모델로 운영체제를 엔드투엔드로 시뮬레이션하고, 사용자의 동작에 따른 화면 변화를 생성합니다.
논문 및 프로젝트 코드 및 자료
Yuntian Deng, Kiran Prasad, Roland Fernandez, Paul Smolensky, Vishrav Chaudhary, Stuart Shieber.
arXiv 2023
2023년에 연속적인 은닉 상태를 통한 암묵적 사고 사슬 추론을 최초로 제안하고, 지식 증류를 통해 명시적 추론 과정을 모델 내부로 옮겼습니다.
논문 및 프로젝트 PDF HTML 코드 및 자료
Yuntian Deng, Yejin Choi, Stuart Shieber.
arXiv 2024
학습 과정에서 명시적인 추론 단계를 점진적으로 제거해, 모델이 내부에서 추론하고 답을 바로 출력하도록 학습합니다.
논문 및 프로젝트 PDF HTML 코드 및 자료
Wenting Zhao, Xiang Ren, Jack Hessel, Claire Cardie, Yejin Choi, Yuntian Deng.
ICLR 2024 (Spotlight)
실제 사용자와 ChatGPT 사이의 다국어·다중 턴 대화를 수집해 사용자 행동, 모델 안전성, 언어 모델 학습을 위한 연구 데이터를 제공합니다.
논문 및 프로젝트 PDF 코드 및 자료연구 가이드
언어 모델과 구조화 학습 연구 가이드에서는 Tree Prompting, 에너지 기반 모델, 확률적 어텐션, 구조화 디코딩, 장문 평가, 학습 기반 렌더링, 상호작용 학습을 다룹니다. 원 논문, 방법 예시, 관련 연구와 인용 정보를 제공합니다.
Image-to-Markup과 IM2LATEX-100K에서는 2016–2017년에 수행한 이미지의 LaTeX 변환 연구와 데이터셋, 코드, 인터랙티브 데모를 소개합니다.
연구실 지원
저희 연구실에 합류하고 싶다면 먼저 ProgramAsWeights, NeuralOS, 암묵적 사고 사슬 연구(2023년 Implicit CoT, 2024년 단계적 내재화)를 읽어 주세요. 연락할 때는 관심 있는 연구 방향을 간단히 설명해 주세요. 받는 메일이 많아 구체적인 연구 내용이 없는 문의에는 답변하지 못합니다.