私は自然言語処理と機械学習を研究しています。記号的なプログラムや明示的な推論ステップで行う計算を、ニューラルモデルに学習させることがテーマです。私の研究室では、自然言語による関数の仕様を再利用可能なニューラルプログラムにコンパイルする ProgramAsWeights、生成モデルで対話的な計算環境をシミュレートする NeuralOS、そして暗黙的な思考の連鎖（Implicit CoT）と推論の内在化に取り組んでいます。また、WildChat の対話データと WildVis の分析ツールを通じて、人々が言語モデルをどのように使っているかを調べています。
研究者がこれらのアイデアを試し、評価し、発展させられるよう、オープンソースのシステムと対話型デモを開発しています。WildChat は OpenAI と Anthropic によるモデルの安全性評価に使われています。ニューラル機械翻訳のオープンソースツールキット OpenNMT の共同開発者でもあります。ハーバード大学で Alexander Rush と Stuart Shieber の指導を受け、コンピュータサイエンスの博士号を取得しました。その後、Allen Institute for AI で Yejin Choi とともに博士研究員として研究しました。
私は、毎回ゼロから問題を解くのではなく、繰り返し行うタスクを小さく再利用可能なニューラルプログラムにコンパイルするようモデルを事前学習させることが、AI の未来で最も刺激的な方向の一つだと考えています。
研究テーマ
ProgramAsWeights（PAW）
新しいプログラミングの枠組みです。自然言語による関数の仕様を再利用可能なニューラルプログラムにコンパイルし、ファジー関数の記号的なコードをニューラルプログラムで置き換えます。コードを介さないプログラミングを目指しています。
プロジェクトとデモ ·研究紹介 ·リーディングリストニューラル世界モデル（Neural World Models）
生成モデルは、対話的な計算環境の動作をどう学習するのでしょうか。NeuralOS はニューラル生成モデルで OS 全体をエンドツーエンドにシミュレートし、ユーザーの操作に応じて画面の変化を生成します。
対話型デモ ·リーディングリスト暗黙的な思考の連鎖（Implicit CoT）
私たちは 2023 年に、暗黙的な思考の連鎖による推論（Implicit CoT、latent reasoning とも呼ばれる）を初めて提案しました。言語モデルが中間ステップを言葉で書き出す代わりに、連続値の隠れ状態を通じて推論するという考え方です。私たちの手法には、知識蒸留と、推論を段階的に内在化する学習（Internalized reasoning）があります。
2023 年の論文 ·2024 年の論文 ·対話型デモ ·論文ガイド ·ICLR 2026 ワークショップ実社会での言語モデルの利用
人々は大規模言語モデルを実際にどう使っているのでしょうか。私たちは数百万件の実際の対話を収集・分析し、利用パターン、モデルの安全性、創発的な振る舞いを研究するとともに、データと分析ツールを公開しています。
WildChat ·AI Observatory ·WildVis代表論文
Wentao Zhang*, Liliana Hotsko*, Woojeong Kim*, Pengyu Nie, Stuart Shieber, Yuntian Deng.
NeurIPS 2026
自然言語による関数の仕様をニューラルプログラムにコンパイルし、モデルの重みを通じて関数の計算を実行します。
論文・プロジェクト コード・資料
Luke Rivard, Sun Sun, Hongyu Guo, Wenhu Chen, Yuntian Deng.
ICLR 2026
ニューラル生成モデルで OS 全体をエンドツーエンドにシミュレートし、ユーザーの操作に応じて画面の変化を生成します。
論文・プロジェクト コード・資料
Yuntian Deng, Kiran Prasad, Roland Fernandez, Paul Smolensky, Vishrav Chaudhary, Stuart Shieber.
arXiv 2023
2023 年に、連続値の隠れ状態を通じた暗黙的な思考の連鎖による推論を初めて提案し、知識蒸留によって明示的な推論過程をモデル内部へ移しました。
論文・プロジェクト PDF HTML コード・資料
Yuntian Deng, Yejin Choi, Stuart Shieber.
arXiv 2024
学習中に明示的な推論ステップを段階的に取り除き、モデルが内部で推論して答えを直接出力するよう学習させます。
論文・プロジェクト PDF HTML コード・資料
Wenting Zhao, Xiang Ren, Jack Hessel, Claire Cardie, Yejin Choi, Yuntian Deng.
ICLR 2024 (Spotlight)
実際のユーザーと ChatGPT の多言語・複数ターンの対話を収集し、ユーザー行動、モデルの安全性、言語モデルの学習に関する研究データを提供します。
論文・プロジェクト PDF コード・資料研究ガイド
言語モデルと構造化学習の研究ガイドでは、Tree Prompting、エネルギーベースモデル、確率的注意機構、構造化デコーディング、長文の評価、学習によるレンダリング、対話的な学習を紹介しています。原論文、手法の具体例、関連研究、引用情報をまとめています。
Image-to-Markup と IM2LATEX-100Kでは、2016–2017 年の画像から LaTeX への変換に関する私たちの研究を、データセット、コード、対話型デモとともに紹介しています。
研究室への参加
私の研究室への参加を希望する方は、まず ProgramAsWeights、NeuralOS、私たちの暗黙的な思考の連鎖の研究（2023 年の Implicit CoT、2024 年の段階的な内在化）を読んでください。連絡の際は、関心のある研究テーマを簡潔に説明してください。多くのメールを受け取るため、具体的な研究内容のない問い合わせには返信できません。