Причинность в видеодиффузорах отделима от денойзинга
Изображение создано Gemini AI
Разработана новая архитектура под названием Separable Causal Diffusion (SCD), которая улучшает причинно-следственные модели, применяемые в генерации видео. Отделяя временное мышление от многошаговой отрисовки кадров, SCD повышает эффективность, обеспечивая большую производительность и снижая задержки. Эксперименты показывают, что она соответствует или превосходит качество существующих моделей, что делает её многообещающим нововведением в области генеративных процессов.
Причинность в видеодиффузорах, отделенная от денойзинга
Недавнее исследование показывает, что причинное рассуждение в моделях видеодиффузии можно явно отделить от процесса денойзинга. Исследователи продемонстрировали, что декомпозиция причинного внимания от итеративных шагов денойзинга может повысить эффективность и качество выходных данных.
В статье выделены две значительные находки в ходе изучения авторегрессионных видеодиффузоров. Ранние слои генерируют очень похожие признаки на различных шагах денойзинга, что приводит к избыточным вычислениям. Более глубокие слои демонстрируют разреженное внимание между кадрами, сосредотачиваясь больше на рендеринге в отдельных кадрах.
В ответ на это исследователи представили новую архитектуру под названием Separable Causal Diffusion (SCD). Эта модель использует причинный трансформерный энкодер для обработки временного рассуждения на уровне каждого кадра, в то время как легкий декодер диффузии применяет рендеринг. Эта разделенность улучшает показатели производительности.
Эксперименты на различных бенчмарках показывают, что SCD не только соответствует, но часто превосходит качество генерации существующих моделей причинной диффузии, с значительными улучшениями в пропускной способности и задержке на кадр.
Связанные темы:
📰 Первоисточник: https://arxiv.org/abs/2602.10095v1
Все права и авторство принадлежат первоначальному издателю.