带噪声扩散模型的分类重参数化
Gemini AI生成的图像
一篇新论文提出了一种基于扩散的软重参数化方法，用于优化分类变量，提升了现有的连续松弛技术。该方法利用高斯噪声过程，并配备了一种高效的闭式去噪器，从而实现了无需预训练的反向传播。实验结果表明，这种方法在多个基准测试中表现出竞争力或更优的性能，有效解决了传统优化方法中噪声和偏差带来的挑战。
通过去噪扩散模型增强的分类重参数化
一项新研究引入了一种基于扩散的软重参数化技术，用于优化分类变量。这种方法解决了传统评分函数估计器和用于优化的连续松弛的局限性。
标准方法通常涉及无偏但噪声水平较高的评分函数估计器。连续松弛通过平滑的替代品取代离散分布，允许路径梯度，但优化的是有偏的、依赖温度的目标。
作者提出了一种新策略，利用去噪扩散过程，为高斯噪声过程下的去噪器提供了闭式解。这创造了一种无训练的扩散采样器，允许反向传播，从而增强了优化效果。
所提方法在各种基准测试中表现出竞争力或更优的性能，表明在优化分类分布方面取得了显著进展。
相关主题：
去噪扩散模型分类重参数化梯度优化方法高斯噪声过程扩散采样器
📰 原始来源： https://arxiv.org/abs/2601.00781v1
所有权利和署名均属于原出版商。