扩散语言模型被证明是最佳并行采样器
Gemini AI生成的图像
最近的研究强调了扩散语言模型（DLMs）在并行生成标记方面的高效率，这一发现对传统的自回归模型构成了挑战。通过形式化一种并行采样模型，该研究证明了具有多项式长度思路链的DLMs能够匹配并行算法的最优顺序步骤。然而，未对显现标记进行修改的情况下，DLMs可能会产生显著的中间占用。引入重新掩蔽或修订方法可以使DLMs在保持最优空间复杂度的同时，提升其表达能力。这项研究强调了DLMs作为卓越并行采样器的潜力，并提倡纳入修订能力。
扩散语言模型展示了最佳的并行采样能力
最新研究强调了扩散语言模型（DLMs）作为传统自回归模型的优越替代方案的潜力，特别是在通过并行生成标记实现更快推理方面。一项新研究正式阐明了DLMs的优势，为其在并行采样中的效率建立了严谨的基础。
研究表明，当DLMs与多项式长度的思维链（CoT）相结合时，可以有效模拟任何并行采样算法，同时采用最优数量的顺序步骤。这表明，对于任何使用有限数量顺序步骤生成的目标分布，DLM可以以相同的效率复制这一过程。
DLMs的效率与局限性
尽管有这些优势，DLMs在修改已揭示标记方面面临局限，这可能导致显著的中间足迹。研究人员证明，结合重掩码——将未掩码的标记转变为掩码——和修订——将未掩码的标记更改为其他未掩码的标记——使得DLM能够模拟任何并行采样算法，同时优化空间复杂性。
这引入了一个显著的表达能力差距：采用修订或重掩码的DLM被证明在表达能力上严格优于缺乏这些特性的对手。这强调了在DLM框架中启用修订的重要性，从而提升其性能并巩固其在高效并行采样中的地位。
相关主题：
扩散语言模型并行采样器自回归模型多项式长度思维链修订功能
📰 原始来源： https://arxiv.org/abs/2512.25014v1
所有权利和署名均属于原出版商。