超越掩码扩散语言模型的扩展
Gemini AI生成的图像
最近的研究表明，尽管当前掩蔽扩散模型在困惑度评分上表现优异，但通过使用交叉熵训练目标，其FLOPs效率可以提高12%。该研究对困惑度作为比较不同扩散模型的可靠性指标的观点提出了质疑。值得注意的是，尽管困惑度较低，均匀状态扩散在GSM8K基准测试中超越了自回归和掩蔽扩散模型。有关详细信息和资源，请访问他们的项目页面。
新见解挑战了掩蔽扩散语言模型的主导地位
最近的研究揭示，掩蔽扩散模型在使用交叉熵目标训练时，浮点运算效率（FLOPs）比其他模型高出约12%。这项研究是对均匀状态和插值离散扩散方法的规模法则进行的首次全面分析。
当参数规模扩大到17亿时，均匀状态扩散模型在GSM8K基准测试中表现优于自回归和掩蔽扩散模型，尽管其验证困惑度较高。这个发现对掩蔽扩散是扩散语言建模未来的绝对假设提出了质疑。
研究表明，需要重新评估用于评估模型有效性的指标，单靠困惑度可能无法全面反映模型的实际潜力。
相关主题：
掩蔽扩散语言模型困惑度浮点运算效率均匀状态扩散
📰 原始来源： https://arxiv.org/abs/2602.15014v1
所有权利和署名均属于原出版商。