研究导读语言模型与结构化学习

论文导读目录

阅读原始方法,
理解研究联系。

整理原始方法及相关研究,提供完整引用和论文原文链接。

31 篇论文

2015

Show, Attend and Tell: Neural Image Caption Generation with Visual Attention

Kelvin Xu, Jimmy Lei Ba, Ryan Kiros, Kyunghyun Cho, Aaron Courville, Ruslan Salakhutdinov, Richard S. Zemel, Yoshua Bengio · ICML 2015

为图像描述生成引入确定性软视觉注意力和随机硬视觉注意力。

2017

Structured Attention Networks

Yoon Kim, Carl Denton, Luong Hoang, Alexander M. Rush · ICLR 2017

使用可微图模型推断,对子序列和句法树进行注意力计算。

2018

Latent Alignment and Variational Attention

Yuntian Deng, Yoon Kim, Justin Chiu, Demi Guo, Alexander M. Rush · NeurIPS 2018

将对齐建模为隐变量,并通过变分注意力学习近似后验推断。

2018

Learning Neural Trans-Dimensional Random Field Language Models with Noise-Contrastive Estimation

Bin Wang, Zhijian Ou · ICASSP 2018

对参考分布进行指数倾斜,并用噪声对比估计训练神经随机场语言模型。

2018

Variational Attention for Sequence-to-Sequence Models

Hareesh Bahuleyan, Lili Mou, Olga Vechtomova, Pascal Poupart · COLING 2018

在变分编码器—解码器中,把注意力上下文向量视为高斯隐变量。

2019

Fast Structured Decoding for Sequence Models

Zhiqing Sun, Zhuohan Li, Haoqing Wang, Di He, Zi Lin, Zhi-Hong Deng · NeurIPS 2019

为非自回归序列模型加入近似一阶 CRF 推断和动态转移。

2020

Bayesian Attention Modules

Xinjie Fan, Shujian Zhang, Bo Chen, Mingyuan Zhou · NeurIPS 2020

由归一化的可重参数化随机变量构造注意力权重分布,并使用贝叶斯正则化学习。

2020

Cascaded Text Generation with Markov Transformers

Yuntian Deng, Alexander M. Rush · NeurIPS 2020

用于并行文本生成的高阶 CRF 级联模型,由一个 Markov Transformer 统一参数化。

2020

Residual Energy-Based Models for Text Generation

Yuntian Deng, Anton Bakhtin, Myle Ott, Arthur Szlam, Marc’Aurelio Ranzato · ICLR 2020

将固定的自回归语言模型与学到的序列级能量结合,使用 NCE 训练、基于重要性重采样的条件生成,以及似然上下界。

2021

OpenMEVA: A Benchmark for Evaluating Open-ended Story Generation Metrics

Jian Guan, Zhexin Zhang, Zhuoer Feng, Zitao Liu, Wenbiao Ding, Xiaoxi Mao, Changjie Fan, Minlie Huang · ACL-IJCNLP 2021

检验自动故事评估指标的基准,涵盖与人工判断的相关性、泛化、稳健性,以及对不同连贯性错误的敏感程度。

2021

Residual Energy-Based Models for Text

Anton Bakhtin, Yuntian Deng, Sam Gross, Myle Ott, Marc’Aurelio Ranzato, Arthur Szlam · JMLR 22(40):1–41

研究如何从统计上区分人类文本与模型文本,并把学到的判别器用于全局归一化生成。

2021

Sequence-to-Lattice Models for Fast Translation

Yuntian Deng, Alexander M. Rush · Findings of EMNLP 2021

用候选查找、并行条件边打分和精确 Viterbi 解码取代深层翻译解码器。

2022

Model Criticism for Long-Form Text Generation

Yuntian Deng, Volodymyr Kuleshov, Alexander M. Rush · EMNLP 2022

通过在显式生成式检验模型定义的潜在空间中比较真实数据与生成数据,评估文本的高层结构。实验研究篇章连贯性、共指和主题性。

2023

Contrast-augmented Diffusion Model with Fine-grained Sequence Alignment for Markup-to-Image Generation

Guojin Zhong, Jin Yuan, Pan Wang, Kailun Yang, Weili Guan, Zhiyong Li · ACM Multimedia 2023

FSA-CDM 将细粒度跨模态序列对齐、上下文建模和对比增强的扩散目标结合,用于标记语言到图像生成。

2023

Input Perturbation Reduces Exposure Bias in Diffusion Models

Mang Ning, Enver Sangineto, Angelo Porrello, Simone Calderara, Rita Cucchiara · ICML 2023

研究扩散模型采样过程中累积的错误,并在训练中扰动输入,以模拟推理时的预测误差。

2023

LiveTune: Dynamic Parameter Tuning for Feedback-Driven Optimization

Soheil Zibakhsh Shabgahi, Nojan Sheybani, Aiden Tabrizi, Farinaz Koushanfar · arXiv

LiveVariables 通过指定的系统端口开放优化参数,支持在不重启优化循环的情况下实时调整参数。

2023

Markup-to-Image Diffusion Models with Scheduled Sampling

Yuntian Deng, Noriyuki Kojima, Alexander M. Rush · ICLR 2023

通过条件扩散学习渲染 LaTeX、HTML 表格布局、LilyPond 乐谱和 SMILES 分子。Scheduled Sampling 让去噪器接触自己生成的输入,以处理逐步累积的错误。

2023

Tree Prompting: Efficient Task Adaptation without Fine-Tuning

John X. Morris, Chandan Singh, Alexander M. Rush, Jianfeng Gao, Yuntian Deng · EMNLP 2023

学习可重复使用的决策树,其内部判断由接收提示词的语言模型调用完成;候选提示包括少样本示例、指令和动态生成的提示。

2023

Augmenting interpretable models with large language models during training

Chandan Singh, Armin Askari, Rich Caruana, Jianfeng Gao · Nature Communications 14, 7913

Aug-Tree 使用语言模型生成的扩展内容,为树的划分构造可解释文本特征。

2024

GPTree: Towards Explainable Decision-Making via LLM-powered Decision Trees

Sichao Xiong, Yigit Ihlamur, Fuat Alican, Aaron Ontoyin Yin · arXiv:2411.08257

使用语言模型辅助的划分构建决策树,并结合专家反馈修改决策路径。

2024

What Makes a Good Story and How Can We Measure It? A Comprehensive Survey of Story Evaluation

Dingyi Yang, Qin Jin · arXiv

综述故事质量标准、人工评估、自动指标和评估基准。

2025

ACT: Agentic Classification Tree

Vincent Grari, Tim Arni, Thibault Laugel, Sylvain Lamprier, James Zou, Marcin Detyniecki · arXiv:2509.26433

通过基于不纯度的划分选择与 TextGrad 优化,学习由自然语言二元问题组成的分类树。

2025

Energy-Based Diffusion Language Models for Text Generation

Minkai Xu, Tomas Geffner, Karsten Kreis, Weili Nie, Yilun Xu, Jure Leskovec, Stefano Ermon, Arash Vahdat · ICLR 2025

在每一步扩散去噪分布中加入完整序列的残差能量,采用自回归模型或 NCE 参数化,并通过并行重要性采样生成文本。

2025

Interactive Training: Feedback-Driven Neural Network Optimization

Wentao Zhang, Yang Young Lu, Yuntian Deng · EMNLP 2025 System Demonstrations

一个开源框架,让人和 AI 智能体通过控制服务器干预正在进行的神经网络训练,修改优化器设置、训练数据和模型检查点。

2026

AI Training Manager: Bounded Closed-Loop Control of Adaptive Training Recipes

Anjali Rao, Nikhil Kamalkumar Advani · arXiv

异步 LLM 监督控制器观察训练遥测数据,对正在执行的训练配置提出受约束的修改,并在刻意引入的监督学习与强化学习失败模式上实验。

2026

Breaking the Factorization Barrier in Diffusion Language Models

Ian Li, Zilei Shao, Benjie Wang, Rose Yu, Guy Van den Broeck, Anji Liu · ICML 2026

CoDD 将因子化扩散预测与可进行高效推断的概率电路先验组合,建模 token 之间的联合依赖。

2026

DA-DLM: Explicitly Modeling Token Dependencies in Diffusion Language Models

Pengyu Ji, Zichen Zhang, Xiang Hu, Kewei Tu · EMNLP 2026

通过按输出位置组织的候选组和已确定 token 构成的锚点,把有向无环图依赖建模用于迭代扩散。

2026

DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding

Guanghao Li, Zhihui Fu, Min Fang, Qibin Zhao, Ming Tang, Chun Yuan, Jun Wang · Findings of ACL 2026

结合扩散草稿生成、token 候选格上的 Causal-consistency Path Search,以及自适应草稿长度。

2026

Interactive Training 2: Auditable Control Plane for Live Model Training

Wentao Zhang, Xuanhe Pan, Han Zhou, Yang Lu, Yuntian Deng · arXiv

可复用的协议,提供带类型的设置、结构化动作、由应用选择的控制点,以及由人、脚本和 LLM 控制器共用的有序日志。

2026

LiLiCorr: Lightweight Likelihood Correlation of Parallel Drafts for Speculative Decoding

Matan Rusanovsky, Yoav Miron, Roy Uziel, Omer Belhasin, Hao Guo, Ran Zilberstein, Maor Ashkenazi, Michael Elad · arXiv 2026

对并行草稿的 top-K 候选计算相邻兼容性,再通过低开销的贪心路径选择得到草稿。

2026

Unified Energy for Invariant and Independent Decoding in Diffusion Language Models

Yuchen Yan, Minkai Xu, Zaiquan Yang, Yatao Bian · arXiv:2606.09159

结合针对扩散解码中依赖关系与不变性的能量修正。