Yuntian Deng
- أستاذ مساعد، كلية علوم الحاسوب بجامعة واترلو
- Associate، Harvard SEAS
- Faculty Affiliate، Vector Institute
- دكتوراه في علوم الحاسوب، جامعة هارفارد
أبحث في معالجة اللغة الطبيعية وتعلّم الآلة: كيف تتعلّم النماذج العصبية إجراء حسابات نعبّر عنها عادةً ببرامج رمزية أو خطوات استدلال صريحة. تطوّر مجموعتي أساليب لتحويل أوصاف الدوال باللغة الطبيعية إلى برامج عصبية قابلة لإعادة الاستخدام (ProgramAsWeights)، ومحاكاة بيئات الحوسبة التفاعلية بنماذج توليدية (NeuralOS)، وتدرس سلسلة التفكير الضمنية (Implicit CoT) واستيعاب الاستدلال داخل النموذج. ندرس أيضًا كيف يستخدم الناس النماذج اللغوية، من خلال محادثات WildChat وأدوات التحليل في WildVis.
أبني أنظمة مفتوحة المصدر وعروضًا تفاعلية تتيح للباحثين استكشاف هذه الأفكار وتقييمها والبناء عليها. استخدمت OpenAI وAnthropic بيانات WildChat لتقييم سلامة النماذج. وشاركت في تطوير OpenNMT، وهو مجموعة أدوات مفتوحة المصدر للترجمة الآلية العصبية تُستخدم على نطاق واسع في البحث والصناعة. حصلت على الدكتوراه في علوم الحاسوب من جامعة هارفارد بإشراف Alexander Rush وStuart Shieber، ثم عملت باحثًا لما بعد الدكتوراه مع Yejin Choi في Allen Institute for AI.
أرى أن تدريب النماذج مسبقًا على تحويل المهام المتكررة إلى برامج عصبية صغيرة قابلة لإعادة الاستخدام، بدلًا من حلّ المشكلة من الصفر في كل مرة، من أكثر الاتجاهات إثارةً في مستقبل الذكاء الاصطناعي.
مجالات البحث
ProgramAsWeights (PAW)
نمط جديد للبرمجة: نحوّل أوصاف الدوال باللغة الطبيعية إلى برامج عصبية قابلة لإعادة الاستخدام، لتحلّ محل الكود الرمزي للدوال الضبابية. هدفنا هو البرمجة دون أن يكون الكود وسيطًا.
المشروع والعروض التفاعلية ·نظرة على الأبحاث ·قائمة القراءةنماذج العالم العصبية (Neural World Models)
كيف تتعلّم النماذج التوليدية سلوك بيئات الحوسبة التفاعلية؟ يحاكي NeuralOS أنظمة التشغيل من البداية إلى النهاية بنماذج توليدية عصبية تنتج تغيّرات الواجهة استجابةً لأفعال المستخدم.
عرض تفاعلي ·قائمة القراءةسلسلة التفكير الضمنية (Implicit CoT)
كنّا أول من اقترح الاستدلال بسلسلة التفكير الضمنية (Implicit CoT، ويُسمّى أيضًا latent reasoning) في عام 2023: تستدل النماذج اللغوية عبر حالات خفية متصلة بدلًا من كتابة الخطوات الوسيطة بالكلمات. تشمل أساليبنا تقطير المعرفة وتعلّم استيعاب الاستدلال داخل النموذج خطوة بخطوة (Internalized reasoning).
ورقة 2023 ·ورقة 2024 ·عرض تفاعلي ·دليل الأوراق البحثية ·ورشة ICLR 2026استخدام النماذج اللغوية في الواقع
كيف يستخدم الناس النماذج اللغوية الكبيرة في الممارسة؟ نجمع ملايين المحادثات الحقيقية ونحلّلها لدراسة أنماط الاستخدام وسلامة النماذج والسلوكيات الناشئة، وننشر البيانات وأدوات التحليل للاستخدام المفتوح.
WildChat ·AI Observatory ·WildVisأوراق بحثية مختارة
Wentao Zhang*, Liliana Hotsko*, Woojeong Kim*, Pengyu Nie, Stuart Shieber, Yuntian Deng.
NeurIPS 2026
نحوّل أوصاف الدوال باللغة الطبيعية إلى برامج عصبية تنفّذ حسابات الدوال من خلال أوزان النموذج.
الورقة والمشروع الكود والموارد
Luke Rivard, Sun Sun, Hongyu Guo, Wenhu Chen, Yuntian Deng.
ICLR 2026
نحاكي أنظمة التشغيل من البداية إلى النهاية بنماذج توليدية عصبية تنتج تغيّرات الواجهة استجابةً لأفعال المستخدم.
الورقة والمشروع الكود والموارد
Yuntian Deng, Kiran Prasad, Roland Fernandez, Paul Smolensky, Vishrav Chaudhary, Stuart Shieber.
arXiv 2023
في عام 2023، اقترحنا لأول مرة الاستدلال بسلسلة التفكير الضمنية عبر حالات خفية متصلة، واستخدمنا تقطير المعرفة لنقل الاستدلال الصريح إلى داخل النموذج.
الورقة والمشروع PDF HTML الكود والموارد
Yuntian Deng, Yejin Choi, Stuart Shieber.
arXiv 2024
نحذف خطوات الاستدلال الصريحة تدريجيًا أثناء التدريب، ليتعلّم النموذج الاستدلال داخليًا وإنتاج الإجابة مباشرةً.
الورقة والمشروع PDF HTML الكود والموارد
Wenting Zhao, Xiang Ren, Jack Hessel, Claire Cardie, Yejin Choi, Yuntian Deng.
ICLR 2024 (Spotlight)
نجمع محادثات متعددة اللغات والجولات بين مستخدمين حقيقيين وChatGPT، لتوفير بيانات لدراسة سلوك المستخدمين وسلامة النماذج وتدريب النماذج اللغوية.
الورقة والمشروع PDF الكود والمواردجميع المنشورات وبيانات الاستشهاد
أدلة البحث
تتناول أدلة البحث في النماذج اللغوية والتعلّم البنيوي أسلوب Tree Prompting، والنماذج القائمة على الطاقة، والانتباه الاحتمالي، وفك الترميز البنيوي، وتقييم النصوص الطويلة، والتصيير بالتعلّم، والتدريب التفاعلي. وتضم الأوراق الأصلية، وأمثلة على الأساليب، والأعمال ذات الصلة، وبيانات الاستشهاد.
يعرض Image-to-Markup وIM2LATEX-100K أبحاثنا في تحويل الصور إلى LaTeX خلال عامَي 2016–2017، مع مجموعة البيانات والكود والعروض التفاعلية.
الانضمام إلى المجموعة
إذا كنت مهتمًا بالانضمام إلى مجموعتي، فابدأ بقراءة ProgramAsWeights وNeuralOS وأبحاثنا في سلسلة التفكير الضمنية (Implicit CoT في 2023؛ استيعاب الاستدلال تدريجيًا في 2024). اذكر باختصار في رسالتك الاتجاه البحثي الذي يهمك. نظرًا لكثرة الرسائل، لا أستطيع الرد على الاستفسارات التي لا تتناول موضوعًا بحثيًا محددًا.