Yuntian Deng
- استادیار، دانشکدهٔ علوم کامپیوتر دانشگاه واترلو
- Associate، Harvard SEAS
- Faculty Affiliate، Vector Institute
- دکترای علوم کامپیوتر از دانشگاه هاروارد
من در پردازش زبان طبیعی و یادگیری ماشین پژوهش می‌کنم: چگونه مدل‌های عصبی محاسباتی را یاد بگیرند که با برنامه‌های نمادین یا مراحل صریح استدلال انجام می‌شوند. گروه من توصیف توابع به زبان طبیعی را به برنامه‌های عصبیِ قابل استفادهٔ مجدد کامپایل می‌کند (ProgramAsWeights)، با مدل‌های مولد محیط‌های محاسباتی تعاملی را شبیه‌سازی می‌کند (NeuralOS) و روی زنجیرهٔ فکر ضمنی (Implicit CoT) و درونی‌سازی استدلال کار می‌کند. همچنین با داده‌های گفت‌وگوی WildChat و ابزار تحلیل WildVis بررسی می‌کنیم که مردم چگونه از مدل‌های زبانی استفاده می‌کنند.
من سامانه‌های متن‌باز و دموهای تعاملی می‌سازم تا پژوهشگران این ایده‌ها را تجربه و ارزیابی کنند و پژوهش‌های بعدی را بر پایهٔ آن‌ها پیش ببرند. OpenAI و Anthropic از WildChat برای ارزیابی ایمنی مدل‌ها استفاده کرده‌اند. من از توسعه‌دهندگان OpenNMT، ابزار متن‌باز ترجمهٔ ماشینی عصبی، هستم. دکترای علوم کامپیوتر را از دانشگاه هاروارد با راهنمایی Alexander Rush و Stuart Shieber گرفتم. سپس در Allen Institute for AI با Yejin Choi پژوهشگر پسادکتری بودم.
به باور من، یکی از هیجان‌انگیزترین مسیرهای آیندهٔ هوش مصنوعی این است که با پیش‌آموزش، مدل‌ها یاد بگیرند کارهای تکراری را به برنامه‌های عصبیِ کوچک و قابل استفادهٔ مجدد کامپایل کنند، به‌جای آنکه هر بار مسئله را از ابتدا حل کنند.
زمینه‌های پژوهش
ProgramAsWeights (PAW)
یک الگوی تازهٔ برنامه‌نویسی: توصیف توابع به زبان طبیعی را به برنامه‌های عصبیِ قابل استفادهٔ مجدد کامپایل می‌کنیم و برای توابع فازی، برنامه‌های عصبی را جایگزین کد نمادین می‌کنیم. هدف ما برنامه‌نویسی بدون واسطهٔ کد است.
پروژه و دموها ·معرفی پژوهش ·فهرست مطالعهمدلهای عصبی جهان (Neural World Models)
مدل‌های مولد چگونه رفتار محیط‌های محاسباتی تعاملی را یاد می‌گیرند؟ NeuralOS با مدل‌های مولد عصبی، سیستم‌عامل را به‌صورت سرتاسری شبیه‌سازی می‌کند و در پاسخ به کنش‌های کاربر، تغییرات رابط کاربری را تولید می‌کند.
دموی تعاملی ·فهرست مطالعهزنجیرهٔ فکر ضمنی (Implicit CoT)
ما در سال ۲۰۲۳ برای نخستین بار استدلال با زنجیرهٔ فکر ضمنی (Implicit CoT، که latent reasoning نیز نامیده می‌شود) را مطرح کردیم: مدل‌های زبانی به‌جای نوشتن مراحل میانی به‌صورت متن، از طریق حالت‌های پنهانِ پیوسته استدلال می‌کنند. روش‌های ما شامل تقطیر دانش و یادگیریِ درونی‌سازی گام‌به‌گام استدلال (Internalized reasoning) است.
مقالهٔ ۲۰۲۳ ·مقالهٔ ۲۰۲۴ ·دموی تعاملی ·راهنمای مقاله‌ها ·کارگاه ICLR 2026استفاده از مدل‌های زبانی در دنیای واقعی
مردم در عمل چگونه از مدل‌های زبانی بزرگ استفاده می‌کنند؟ ما میلیون‌ها گفت‌وگوی واقعی را گردآوری و تحلیل می‌کنیم تا الگوهای استفاده، ایمنی مدل‌ها و رفتارهای نوظهور را بررسی کنیم و داده‌ها و ابزارهای تحلیل را به‌صورت آزاد در دسترس قرار می‌دهیم.
WildChat ·AI Observatory ·WildVisمقاله‌های منتخب
Wentao Zhang*, Liliana Hotsko*, Woojeong Kim*, Pengyu Nie, Stuart Shieber, Yuntian Deng.
NeurIPS 2026
توصیف توابع به زبان طبیعی را به برنامه‌های عصبی کامپایل می‌کنیم تا محاسبات تابع از طریق وزن‌های مدل انجام شوند.
مقاله و پروژه کد و منابع
Luke Rivard, Sun Sun, Hongyu Guo, Wenhu Chen, Yuntian Deng.
ICLR 2026
سیستم‌عامل را با مدل‌های مولد عصبی به‌صورت سرتاسری شبیه‌سازی می‌کنیم و در پاسخ به کنش‌های کاربر، تغییرات رابط کاربری را تولید می‌کنیم.
مقاله و پروژه کد و منابع
Yuntian Deng, Kiran Prasad, Roland Fernandez, Paul Smolensky, Vishrav Chaudhary, Stuart Shieber.
arXiv 2023
در سال ۲۰۲۳ برای نخستین بار استدلال با زنجیرهٔ فکر ضمنی از طریق حالت‌های پنهانِ پیوسته را مطرح کردیم و با تقطیر دانش، فرایند استدلال صریح را به درون مدل انتقال دادیم.
مقاله و پروژه PDF HTML کد و منابع
Yuntian Deng, Yejin Choi, Stuart Shieber.
arXiv 2024
با حذف تدریجی مراحل صریح استدلال در آموزش، مدل یاد می‌گیرد در درون خود استدلال کند و مستقیماً پاسخ بدهد.
مقاله و پروژه PDF HTML کد و منابع
Wenting Zhao, Xiang Ren, Jack Hessel, Claire Cardie, Yejin Choi, Yuntian Deng.
ICLR 2024 (Spotlight)
گفت‌وگوهای چندزبانه و چندنوبتی کاربران واقعی با ChatGPT را گردآوری می‌کنیم تا داده‌های پژوهشی برای بررسی رفتار کاربران، ایمنی مدل‌ها و آموزش مدل‌های زبانی فراهم شوند.
مقاله و پروژه PDF کد و منابعراهنماهای پژوهش
راهنمای پژوهش در مدل‌های زبانی و یادگیری ساختاریافته به Tree Prompting، مدل‌های مبتنی بر انرژی، توجه احتمالاتی، رمزگشایی ساختاریافته، ارزیابی متن‌های بلند، رندرگیریِ آموخته‌شده و آموزش تعاملی می‌پردازد و مقاله‌های اصلی، مثال‌هایی از روش‌ها، کارهای مرتبط و اطلاعات استناد را ارائه می‌کند.
Image-to-Markup و IM2LATEX-100K پژوهش ما در سال‌های ۲۰۱۶–۲۰۱۷ دربارهٔ تبدیل تصویر به LaTeX را همراه با مجموعه‌داده‌ها، کد و دموهای تعاملی معرفی می‌کند.
پیوستن به گروه
اگر می‌خواهید به گروه من بپیوندید، ابتدا ProgramAsWeights، NeuralOS و پژوهش ما دربارهٔ زنجیرهٔ فکر ضمنی را بخوانید (زنجیرهٔ فکر ضمنی در ۲۰۲۳؛ درونی‌سازی گام‌به‌گام در ۲۰۲۴). در پیام خود به‌اختصار بنویسید به چه زمینهٔ پژوهشی علاقه دارید. به‌دلیل حجم بالای ایمیل‌ها، نمی‌توانم به پیام‌هایی پاسخ بدهم که موضوع پژوهشی مشخصی ندارند.