Yuntian Deng
- Assistant Professor, School of Computer Science, University of Waterloo
- Associate, Harvard SEAS
- Faculty Affiliate, Vector Institute
- Promotion in Informatik, Harvard University
In meiner Forschung zur Verarbeitung natürlicher Sprache und zum maschinellen Lernen untersuche ich, wie neuronale Modelle Berechnungen erlernen, die sonst durch symbolische Programme oder explizite Denkschritte ausgedrückt werden. Meine Gruppe kompiliert Funktionsbeschreibungen in natürlicher Sprache zu wiederverwendbaren neuronalen Programmen (ProgramAsWeights), simuliert interaktive Computerumgebungen mit generativen Modellen (NeuralOS) und erforscht implizite Gedankenketten (Implicit CoT) und die Internalisierung von Denkprozessen. Mit den Gesprächsdaten von WildChat und den Analysewerkzeugen von WildVis untersuchen wir außerdem, wie Menschen Sprachmodelle nutzen.
Ich entwickle Open-Source-Systeme und interaktive Demos, mit denen andere diese Ideen erkunden, bewerten und weiterentwickeln können. OpenAI und Anthropic haben WildChat zur Bewertung der Sicherheit ihrer Modelle verwendet. Ich habe außerdem OpenNMT mitentwickelt, ein Open-Source-Werkzeugpaket für neuronale maschinelle Übersetzung, das in Forschung und Industrie weit verbreitet ist. Ich habe an der Harvard University in Informatik promoviert, betreut von Alexander Rush und Stuart Shieber. Anschließend war ich Postdoktorand bei Yejin Choi am Allen Institute for AI.
Modelle so vorzutrainieren, dass sie wiederkehrende Aufgaben in kleine, wiederverwendbare neuronale Programme kompilieren, statt jedes Problem von Grund auf neu zu lösen, ist für mich eine der spannendsten Zukunftsrichtungen der KI.
Forschung
ProgramAsWeights (PAW)
Ein neues Programmierparadigma: Funktionsbeschreibungen in natürlicher Sprache werden zu wiederverwendbaren neuronalen Programmen kompiliert, die symbolischen Code für unscharfe Funktionen ersetzen. Unser Ziel ist Programmieren ohne Code als Zwischenschritt.
Projekt und Demos ·Forschungsübersicht ·LeselisteNeuronale Weltmodelle (Neural World Models)
Wie lernen generative Modelle das Verhalten interaktiver Computerumgebungen? NeuralOS simuliert Betriebssysteme durchgängig mit neuronalen generativen Modellen, die Änderungen der Benutzeroberfläche aus den Aktionen des Nutzers erzeugen.
Interaktive Demo ·LeselisteImplizite Gedankenketten (Implicit CoT)
Wir haben 2023 als Erste das Schlussfolgern mit impliziten Gedankenketten (Implicit CoT, auch latent reasoning genannt) vorgeschlagen: Sprachmodelle nutzen kontinuierliche verborgene Zustände, statt Zwischenschritte in Worten auszugeben. Unsere Arbeit umfasst Wissensdistillation und die schrittweise Internalisierung von Denkprozessen (Internalized reasoning).
Publikation von 2023 ·Publikation von 2024 ·Interaktive Demo ·Leseliste ·ICLR-Workshop 2026Sprachmodelle im Alltag
Wie nutzen Menschen große Sprachmodelle tatsächlich? Wir sammeln und analysieren Millionen realer Gespräche, um Nutzungsmuster, Modellsicherheit und neu entstehende Verhaltensweisen zu untersuchen. Wir stellen offene Datensätze und Analysewerkzeuge bereit.
WildChat ·AI Observatory ·WildVisAusgewählte Publikationen
Wentao Zhang*, Liliana Hotsko*, Woojeong Kim*, Pengyu Nie, Stuart Shieber, Yuntian Deng.
NeurIPS 2026
Kompiliert Funktionsbeschreibungen in natürlicher Sprache zu neuronalen Programmen. Die Modellgewichte führen die Berechnungen der Funktionen aus.
Publikation und Projekt Code und Ressourcen
Luke Rivard, Sun Sun, Hongyu Guo, Wenhu Chen, Yuntian Deng.
ICLR 2026
Simuliert Betriebssysteme durchgängig mit neuronalen generativen Modellen, die Änderungen der Benutzeroberfläche aus Nutzeraktionen erzeugen.
Publikation und Projekt Code und Ressourcen
Yuntian Deng, Kiran Prasad, Roland Fernandez, Paul Smolensky, Vishrav Chaudhary, Stuart Shieber.
arXiv 2023
2023 haben wir erstmals das Schlussfolgern mit impliziten Gedankenketten über kontinuierliche verborgene Zustände vorgeschlagen und Wissensdistillation eingesetzt, um explizite Denkprozesse in das Modell zu übertragen.
Publikation und Projekt PDF HTML Code und Ressourcen
Yuntian Deng, Yejin Choi, Stuart Shieber.
arXiv 2024
Entfernt explizite Denkschritte während des Trainings nach und nach. Das Modell lernt so, intern zu schlussfolgern und direkt die Antwort auszugeben.
Publikation und Projekt PDF HTML Code und Ressourcen
Wenting Zhao, Xiang Ren, Jack Hessel, Claire Cardie, Yejin Choi, Yuntian Deng.
ICLR 2024 (Spotlight)
Enthält mehrsprachige Dialoge über mehrere Gesprächsrunden zwischen realen Nutzern und ChatGPT zur Erforschung des Nutzerverhaltens, der Modellsicherheit und des Trainings von Sprachmodellen.
Publikation und Projekt PDF Code und RessourcenAlle Publikationen und Literaturangaben
Forschungsübersichten
Die Forschungsübersichten zu Sprachmodellen und strukturiertem Lernen behandeln Tree Prompting, energiebasierte Modelle, probabilistische Aufmerksamkeit, strukturiertes Dekodieren, die Bewertung langer Texte, Rendering durch Training und interaktives Training. Sie verbinden Originalpublikationen, Methodenbeispiele, verwandte Arbeiten und Literaturangaben.
Image-to-Markup und IM2LATEX-100K stellt unsere Arbeiten von 2016–2017 zur Umwandlung von Bildern in LaTeX vor, zusammen mit dem Datensatz, Code und interaktiven Demos.
Mitforschen
Wenn Sie in meiner Forschungsgruppe mitarbeiten möchten, lesen Sie zunächst über ProgramAsWeights, NeuralOS und unsere Arbeiten zu impliziten Gedankenketten (Implicit CoT von 2023; schrittweise Internalisierung von 2024). Beschreiben Sie in Ihrer Nachricht kurz, welche Forschungsrichtung Sie interessiert. Aufgrund der Zahl der eingehenden Nachrichten kann ich Anfragen ohne konkreten Forschungsbezug nicht beantworten.