Yuntian Deng
- Profesor asistente, Escuela de Informática de la Universidad de Waterloo
- Associate, Harvard SEAS
- Faculty Affiliate, Vector Institute
- Doctorado en Informática, Universidad de Harvard
Investigo el procesamiento del lenguaje natural y el aprendizaje automático: cómo lograr que los modelos neuronales aprendan cálculos que se realizan mediante programas simbólicos o pasos de razonamiento explícitos. Mi grupo compila especificaciones de funciones en lenguaje natural en programas neuronales reutilizables (ProgramAsWeights), simula entornos informáticos interactivos con modelos generativos (NeuralOS) e investiga la cadena de pensamiento implícita (Implicit CoT) y la internalización del razonamiento. También estudiamos cómo se utilizan los modelos de lenguaje a través de los datos de conversaciones de WildChat y las herramientas de análisis de WildVis.
Desarrollo sistemas de código abierto y demostraciones interactivas para que otros investigadores los prueben, los evalúen y desarrollen nuevos trabajos a partir de ellos. OpenAI y Anthropic han utilizado WildChat para evaluar la seguridad de sus modelos. También soy codesarrollador de OpenNMT, un conjunto de herramientas de código abierto para traducción automática neuronal. Obtuve mi doctorado en Informática en la Universidad de Harvard, bajo la dirección de Alexander Rush y Stuart Shieber. Después realicé investigación posdoctoral con Yejin Choi en el Allen Institute for AI.
Creo que preentrenar modelos para compilar tareas repetidas en pequeños programas neuronales reutilizables, en lugar de resolver cada problema desde cero, es una de las líneas de investigación más apasionantes para el futuro de la IA.
Investigación
ProgramAsWeights (PAW)
Un nuevo paradigma de programación que compila especificaciones de funciones en lenguaje natural en programas neuronales reutilizables y sustituye el código simbólico de las funciones difusas (fuzzy functions) por programas neuronales. Nuestro objetivo es programar sin el código como intermediario.
Proyecto y demostraciones ·Introducción a la investigación ·Lista de lecturasModelos neuronales del mundo
¿Cómo aprenden los modelos generativos el comportamiento de los entornos informáticos interactivos? NeuralOS simula un sistema operativo de extremo a extremo con modelos generativos neuronales y genera los cambios en la interfaz a partir de las acciones del usuario.
Demostración interactiva ·Lista de lecturasCadena de pensamiento implícita (Implicit CoT)
En 2023 propusimos por primera vez el razonamiento mediante cadenas de pensamiento implícitas (Implicit CoT, también llamado latent reasoning): los modelos de lenguaje razonan mediante estados ocultos continuos en lugar de escribir los pasos intermedios. Nuestros métodos incluyen la destilación de conocimiento y la internalización del razonamiento paso a paso (Internalized reasoning).
Artículo de 2023 ·Artículo de 2024 ·Demostración interactiva ·Guía de artículos ·Taller ICLR 2026El uso de modelos de lenguaje en la práctica
¿Cómo utiliza la gente los grandes modelos de lenguaje? Recopilamos y analizamos millones de conversaciones reales para estudiar patrones de uso, seguridad de los modelos y comportamientos emergentes. Publicamos datos y herramientas de análisis abiertos.
WildChat ·AI Observatory ·WildVisArtículos seleccionados
Wentao Zhang*, Liliana Hotsko*, Woojeong Kim*, Pengyu Nie, Stuart Shieber, Yuntian Deng.
NeurIPS 2026
Compila especificaciones de funciones en lenguaje natural en programas neuronales y ejecuta los cálculos de las funciones mediante los pesos del modelo.
Artículo y proyecto Código y recursos
Luke Rivard, Sun Sun, Hongyu Guo, Wenhu Chen, Yuntian Deng.
ICLR 2026
Simula un sistema operativo de extremo a extremo con modelos generativos neuronales y genera los cambios en la interfaz a partir de las acciones del usuario.
Artículo y proyecto Código y recursos
Yuntian Deng, Kiran Prasad, Roland Fernandez, Paul Smolensky, Vishrav Chaudhary, Stuart Shieber.
arXiv 2023
En 2023 propusimos por primera vez el razonamiento mediante cadenas de pensamiento implícitas con estados ocultos continuos, y utilizamos la destilación de conocimiento para trasladar el razonamiento explícito al interior del modelo.
Artículo y proyecto PDF HTML Código y recursos
Yuntian Deng, Yejin Choi, Stuart Shieber.
arXiv 2024
Elimina gradualmente los pasos de razonamiento explícitos durante el entrenamiento para que el modelo aprenda a razonar internamente y produzca la respuesta directamente.
Artículo y proyecto PDF HTML Código y recursos
Wenting Zhao, Xiang Ren, Jack Hessel, Claire Cardie, Yejin Choi, Yuntian Deng.
ICLR 2024 (Spotlight)
Recopila conversaciones multilingües de varios turnos entre usuarios reales y ChatGPT, y aporta datos para investigar el comportamiento de los usuarios, la seguridad de los modelos y el entrenamiento de modelos de lenguaje.
Artículo y proyecto PDF Código y recursosTodas las publicaciones y citas
Guías de investigación
La guía de investigación sobre modelos de lenguaje y aprendizaje estructurado presenta Tree Prompting, modelos de energía, atención probabilística, decodificación estructurada, evaluación de textos largos, renderizado aprendido y entrenamiento interactivo. Incluye los artículos originales, ejemplos de los métodos, trabajos relacionados y citas.
Image-to-Markup e IM2LATEX-100K presenta nuestra investigación de 2016–2017 sobre la conversión de imágenes a LaTeX, junto con el conjunto de datos, el código y las demostraciones interactivas.
Únete al grupo
Si quieres unirte a mi grupo, lee primero ProgramAsWeights, NeuralOS y nuestro trabajo sobre cadenas de pensamiento implícitas (Implicit CoT de 2023; internalización paso a paso de 2024). Al escribirme, explica brevemente qué línea de investigación te interesa. Por el volumen de mensajes que recibo, no puedo responder a consultas que no planteen intereses concretos de investigación.