CamPilot : Amélioration du contrôle de la caméra dans les modèles de diffusion vidéo grâce à un retour d'information sur les récompenses de caméra efficace
Image générée par Gemini AI
Des recherches récentes améliorent les modèles de diffusion vidéo contrôlés par caméra, en s'attaquant aux limites de la contrôlabilité de la caméra. L'étude présente un décodeur 3D efficace qui transforme les latents vidéo et la pose de la caméra en représentations 3D, optimisant la cohérence au niveau des pixels pour un meilleur alignement. Cette méthode répond aux lacunes des modèles de récompense existants et réduit la charge computationnelle, démontrant son efficacité sur les benchmarks RealEstate10K et WorldScore. Pour plus de détails, visitez la [page CamPilot](https://a-bigbao.github.io/CamPilot/).
CamPilot Introduit un Retour d'Information Efficace sur la Caméra pour Améliorer les Modèles de Diffusion Vidéo
Des chercheurs ont présenté CamPilot, une approche innovante qui exploite l'Apprentissage par Retour d'Information (ReFL) pour améliorer la contrôlabilité de la caméra dans la génération vidéo. Cette méthode répond aux défis persistants d'alignement entre la vidéo et les entrées de la caméra.
L'équipe de CamPilot a développé un décodeur 3D conscient de la caméra, efficace, qui traduit les latents vidéo en représentations 3D pour la quantification des récompenses. Ce modèle utilise la pose de la caméra à la fois comme une entrée et un paramètre de projection, réduisant ainsi les distorsions géométriques qui peuvent entraîner des rendus flous.
Ils ont optimisé la cohérence au niveau des pixels entre les vues rendues et les images réelles, comme mécanisme de récompense, en introduisant un terme de visibilité pour superviser de manière sélective les régions déterministes via un déformation géométrique.
Des expériences sur les benchmarks RealEstate10K et WorldScore montrent des améliorations significatives en matière de contrôlabilité de la caméra et de qualité vidéo, soulignant le potentiel de CamPilot dans la génération vidéo.
Pour plus d'informations, visitez la Page du Projet CamPilot.
Sujets connexes :
📰 Source originale : https://arxiv.org/abs/2601.16214v1
Tous les droits et crédits appartiennent à l'éditeur original.