DAWN：针对扩散大语言模型的依赖感知快速推理
Gemini AI生成的图像
本文介绍了一种名为DAWN的新方法，该方法旨在提高扩散大型语言模型（dLLMs）的推理速度，同时不影响输出质量。DAWN通过建模标记之间的依赖关系，解决了传统并行解码的低效问题，从而实现了更可靠的标记解掩蔽。实验结果表明，与现有方法相比，DAWN的推理速度提升了1.80至8.06倍，同时保持了生成质量。相关代码已在GitHub上发布，供实现使用。
新解码方法DAWN提升扩散大语言模型的推理速度
研究人员推出了DAWN，这是一种新颖的解码技术，旨在优化扩散大语言模型（dLLMs）的推理速度。该方法解决了现有并行解码策略的低效问题。
DAWN采用了一种无训练、依赖感知的方法，构建了一个依赖图以优先考虑标记之间的关系。它关注两个关键见解：
- 依赖于某些未屏蔽标记的位置能够生成更可靠的输出。
- 同时未屏蔽多个强相关的标记可能会导致生成错误。
DAWN有效地在每次迭代中选择最可靠的未屏蔽位置，实现高水平的并行性，同时保持文本质量。实验表明，DAWN的推理速度比现有基准快1.80到8.06倍，且不会降低输出质量。DAWN的代码已在GitHub上公开发布。
相关主题：
扩散大语言模型依赖感知快速推理并行解码DAWN
📰 原始来源： https://arxiv.org/abs/2602.06953v1
所有权利和署名均属于原出版商。