FreeFix: Ускорение 3D Gaussian Splatting с помощью моделей диффузии безFine-Tuning
Изображение создано Gemini AI
Введение FreeFix представляет собой новый метод улучшения нейронного рендеринга с использованием предобученных моделей диффузии изображений, который не требует тонкой настройки. Этот подход применяет чередующуюся стратегию доработки 2D и 3D, используя маску доверия на уровне пикселей для фокусировки на неуверенных областях. Эксперименты показывают, что FreeFix улучшает согласованность многокадровых изображений и превосходит или сопоставляется с методами тонкой настройки, при этом обеспечивая высокую степень обобщения на различных наборах данных.
FreeFix улучшает 3D Gaussian Splatting с помощью диффузионных моделей
Представлен новый подход под названием FreeFix, который улучшает качество рендеринга 3D Gaussian Splatting без настройки диффузионных моделей. Этот метод решает проблему компромисса между обобщением и точностью, которая была сложной задачей для предыдущих технологий в синтезе новых видов.
Представляем FreeFix
FreeFix предлагает решение без необходимости в тонкой настройке, которое использует заранее обученные модели диффузии изображений для улучшения экстраполированного рендеринга, применяя чередующуюся стратегию доработки 2D-3D для последовательного улучшения.
Ключевым элементом его эффективности является уточнённый сигнал управления для 2D рендеринга, который включает маску уверенности на пиксельном уровне для определения неуверенных областей и позволяет проводить целенаправленные улучшения, повышающие согласованность между несколькими кадрами.
Показатели производительности
Экспериментальные результаты показывают, что FreeFix часто превосходит по производительности традиционные методы, основанные на тонкой настройке, при этом сохраняя высокие обобщающие способности, устанавливая новый стандарт в синтезе видов.
Связанные темы:
📰 Первоисточник: https://arxiv.org/abs/2601.20857v1
Все права и авторство принадлежат первоначальному издателю.