Stream-DiffVSR: Суперразрешение потокового видео с низкой задержкой с помощью авто-регрессивной диффузии
Изображение создано Gemini AI
Stream-DiffVSR представляет собой основанную на диффузии рамочную систему с причинной условностью для суперразрешения видео, что позволяет обрабатывать данные в реальном времени, полагаясь исключительно на предыдущие кадры. В её состав входят четырехступенчатый дистиллированный денойзер и модуль авто-регрессивного временного управления, что позволяет достигать обработки кадров в 720p всего за 0,328 секунды на графическом процессоре RTX4090. Этот метод снижает задержку более чем в 130 раз по сравнению с существующими передовыми технологиями, что делает его пригодным для приложений с низкой задержкой. Более подробную информацию можно найти на странице проекта.
Stream-DiffVSR: Прорыв в области видео суперразрешения с низкой задержкой
Новая структура, Stream-DiffVSR, появилась как решение для видео суперразрешения (VSR) в приложениях, чувствительных к задержке. Сосредоточив внимание исключительно на прошлых кадрах, Stream-DiffVSR значительно сокращает время обработки, одновременно улучшая восприятие качества.
Технические новшества и показатели производительности
- Четырехступенчатый дистиллированный денойзер, который ускоряет время вывода.
- Модуль авто-регрессивного временного управления (ARTG), который предоставляет согласованные с движением подсказки во время латентного денойзинга.
- Легковесный декодер с учетом временных аспектов, оснащенный модулем временной обработки (TPM), для улучшения детализации и поддержания временной согласованности.
На графическом процессоре RTX4090 Stream-DiffVSR может обрабатывать видеокадры 720p всего за 0.328 секунды, что является значительным улучшением по сравнению с предыдущими методами. В сравнении с текущей передовой моделью TMP, Stream-DiffVSR демонстрирует улучшение на +0.095 в оценках LPIPS при сокращении задержки более чем в 130 раз.
Последствия для онлайн-развертывания
Возможности Stream-DiffVSR делают его первым жизнеспособным методом диффузионного VSR для онлайн-приложений с низкой задержкой, что может преобразовать сектора, зависящие от обработки видео в реальном времени.
Связанные темы:
📰 Первоисточник: https://arxiv.org/abs/2512.23709v1
Все права и авторство принадлежат первоначальному издателю.