Категорическая репараметризация с использованием моделей диффузии с шумоподавлением
Изображение создано Gemini AI
В новой статье представлен метод мягкой репараметризации на основе диффузии для оптимизации категориальных переменных, который улучшает существующие непрерывные релаксации. Этот метод использует процесс гауссовского шумоподавления с эффективным денойзером, позволяющим выполнять обратное распространение без предварительного обучения. Эксперименты показывают, что этот подход демонстрирует конкурентоспособные или даже улучшенные результаты на различных бенчмарках, эффективно решая проблемы шума и смещения, характерные для традиционных методов оптимизации.
Категориальная репараметризация, улучшенная за счет моделей денойзинга диффузии
Новое исследование представило основанную на диффузии технику мягкой репараметризации для оптимизации категориальных переменных. Этот подход решает ограничения традиционных оценщиков функции оценки и непрерывных релаксаций, используемых в оптимизации.
Стандартные методы часто включают оценщики функции оценки, которые являются несмещенными, но имеют высокий уровень шума. Непрерывные релаксации заменяют дискретные распределения гладкими суррогатами, позволяя получать градиенты по пути, но оптимизируя смещенные, зависимые от температуры цели.
Авторы предлагают новую стратегию, использующую процесс денойзинга диффузии, предоставляющую аналитическое решение для денойзера в рамках гауссовского шумового процесса. Это создает образец диффузии, не требующий обучения, который позволяет обратное распространение, улучшая оптимизацию.
Предложенный метод продемонстрировал конкурентоспособную или превосходную производительность по сравнению с различными эталонами, что указывает на значительный прогресс в оптимизации категориальных распределений.
Связанные темы:
📰 Первоисточник: https://arxiv.org/abs/2601.00781v1
Все права и авторство принадлежат первоначальному издателю.