Yuntian Deng
- Professeur adjoint, École d’informatique de l’Université de Waterloo
- Associate, Harvard SEAS
- Faculty Affiliate, Vector Institute
- Doctorat en informatique, Université Harvard
Mes recherches portent sur le traitement automatique des langues et l’apprentissage automatique : apprendre aux modèles neuronaux à effectuer des calculs habituellement exprimés par des programmes symboliques ou des étapes de raisonnement explicites. Mon équipe compile des descriptions de fonctions en langage naturel en programmes neuronaux réutilisables (ProgramAsWeights), simule des environnements informatiques interactifs avec des modèles génératifs (NeuralOS) et étudie les chaînes de pensée implicites (Implicit CoT) et l’internalisation du raisonnement. Nous étudions aussi les usages des modèles de langage à partir des conversations de WildChat et des outils d’analyse de WildVis.
Je développe des systèmes open source et des démonstrations interactives pour permettre aux chercheurs d’explorer ces idées, de les évaluer et de poursuivre ces travaux. OpenAI et Anthropic ont utilisé WildChat pour évaluer la sécurité de leurs modèles. J’ai également codéveloppé OpenNMT, une boîte à outils open source pour la traduction automatique neuronale. J’ai obtenu mon doctorat en informatique à l’Université Harvard sous la direction d’Alexander Rush et de Stuart Shieber, puis mené des recherches postdoctorales avec Yejin Choi à l’Allen Institute for AI.
Je considère que préentraîner des modèles à compiler les tâches répétitives en petits programmes neuronaux réutilisables, au lieu de résoudre chaque problème en repartant de zéro, est l’une des pistes les plus enthousiasmantes pour l’avenir de l’IA.
Axes de recherche
ProgramAsWeights (PAW)
Un nouveau paradigme de programmation : compiler des descriptions de fonctions en langage naturel en programmes neuronaux réutilisables, qui remplacent le code symbolique des fonctions floues. Notre objectif est de programmer sans passer par le code.
Projet et démonstrations ·Présentation des recherches ·Liste de lectureModèles du monde neuronaux (Neural World Models)
Comment les modèles génératifs apprennent-ils le comportement des environnements informatiques interactifs ? NeuralOS simule des systèmes d’exploitation de bout en bout avec des modèles génératifs neuronaux, qui produisent les changements d’interface en réponse aux actions de l’utilisateur.
Démonstration interactive ·Liste de lectureChaîne de pensée implicite (Implicit CoT)
Nous avons été les premiers à proposer le raisonnement par chaîne de pensée implicite (Implicit CoT, aussi appelé latent reasoning) en 2023 : les modèles de langage raisonnent au moyen d’états cachés continus, au lieu d’écrire les étapes intermédiaires sous forme de mots. Nous utilisons la distillation de connaissances et entraînons les modèles à internaliser le raisonnement étape par étape (Internalized reasoning).
Article de 2023 ·Article de 2024 ·Démonstration interactive ·Guide de lecture ·Atelier ICLR 2026Usages réels des modèles de langage
Comment utilise-t-on les grands modèles de langage dans la pratique ? Nous recueillons et analysons des millions de conversations réelles pour étudier les usages, la sécurité des modèles et les comportements émergents. Nous mettons à disposition des données ouvertes et des outils d’analyse.
WildChat ·AI Observatory ·WildVisSélection d’articles
Wentao Zhang*, Liliana Hotsko*, Woojeong Kim*, Pengyu Nie, Stuart Shieber, Yuntian Deng.
NeurIPS 2026
Compile des descriptions de fonctions en langage naturel en programmes neuronaux, en utilisant les poids du modèle pour exécuter les calculs des fonctions.
Article et projet Code et ressources
Luke Rivard, Sun Sun, Hongyu Guo, Wenhu Chen, Yuntian Deng.
ICLR 2026
Simule des systèmes d’exploitation de bout en bout avec des modèles génératifs neuronaux, qui produisent les changements d’interface à partir des actions de l’utilisateur.
Article et projet Code et ressources
Yuntian Deng, Kiran Prasad, Roland Fernandez, Paul Smolensky, Vishrav Chaudhary, Stuart Shieber.
arXiv 2023
En 2023, nous avons proposé pour la première fois le raisonnement par chaîne de pensée implicite au moyen d’états cachés continus et utilisé la distillation de connaissances pour transférer le raisonnement explicite à l’intérieur du modèle.
Article et projet PDF HTML Code et ressources
Yuntian Deng, Yejin Choi, Stuart Shieber.
arXiv 2024
Supprime progressivement les étapes de raisonnement explicites pendant l’entraînement pour apprendre au modèle à raisonner en interne et à produire directement la réponse.
Article et projet PDF HTML Code et ressources
Wenting Zhao, Xiang Ren, Jack Hessel, Claire Cardie, Yejin Choi, Yuntian Deng.
ICLR 2024 (Spotlight)
Rassemble des conversations multilingues à plusieurs tours entre de vrais utilisateurs et ChatGPT, pour étudier les comportements des utilisateurs, la sécurité des modèles et l’entraînement des modèles de langage.
Article et projet PDF Code et ressourcesToutes les publications et références bibliographiques
Guides de recherche
Les guides de recherche sur les modèles de langage et l’apprentissage structuré présentent Tree Prompting, les modèles à énergie, l’attention probabiliste, le décodage structuré, l’évaluation des textes longs, le rendu par apprentissage et l’entraînement interactif. Ils réunissent les articles originaux, des exemples de méthodes, les travaux connexes et les références bibliographiques.
Image-to-Markup et IM2LATEX-100K présente nos travaux de 2016–2017 sur la conversion d’images en LaTeX, ainsi que le jeu de données, le code et les démonstrations interactives.
Rejoindre l’équipe
Si vous souhaitez rejoindre mon équipe, commencez par lire ProgramAsWeights, NeuralOS et nos travaux sur les chaînes de pensée implicites (Implicit CoT en 2023 ; internalisation progressive en 2024). Dans votre message, décrivez brièvement l’axe de recherche qui vous intéresse. En raison du volume de messages reçus, je ne peux pas répondre aux demandes qui n’abordent aucun sujet de recherche précis.