CamPilot: Aprimorando o Controle de Câmera em Modelos de Difusão de Vídeo com Feedback Eficiente de Recompensa de Câmera
Imagem gerada por Gemini AI
Pesquisas recentes aprimoram os modelos de difusão de vídeo controlados por câmeras, abordando as limitações na controlabilidade das mesmas. O estudo apresenta um decodificador 3D eficiente que transforma o vídeo latente e a pose da câmera em representações 3D, otimizando a consistência em nível de pixel para uma melhor alinhamento. Este método resolve deficiências existentes em modelos de recompensa e reduz a sobrecarga computacional, demonstrando eficácia nos benchmarks RealEstate10K e WorldScore. Para mais detalhes, visite a [página do CamPilot](https://a-bigbao.github.io/CamPilot/).
CamPilot Apresenta Feedback de Recompensa Eficiente para Controle de Câmera em Modelos de Difusão de Vídeo
Pesquisadores introduziram o CamPilot, uma abordagem inovadora que utiliza o Aprendizado por Feedback de Recompensa (ReFL) para aprimorar a controlabilidade da câmera na geração de vídeos. Este método aborda desafios persistentes na alocação de vídeo com entradas de câmera.
A equipe do CamPilot desenvolveu um decodificador 3D consciente da câmera que traduz latentes de vídeo em representações 3D para quantização de recompensas. Este modelo utiliza a pose da câmera tanto como um parâmetro de entrada quanto de projeção, reduzindo distorções geométricas que podem resultar em renderizações borradas.
Eles otimizaram a consistência em nível de pixel entre as visualizações renderizadas e as imagens reais como um mecanismo de recompensa, introduzindo um termo de visibilidade para supervisionar seletivamente regiões determinísticas através de deformação geométrica.
Experimentos nos benchmarks RealEstate10K e WorldScore mostram melhorias significativas na controlabilidade da câmera e na qualidade do vídeo, destacando o potencial do CamPilot na geração de vídeos.
Para mais informações, visite a Página do Projeto CamPilot.
Tópicos relacionados:
📰 Fonte original: https://arxiv.org/abs/2601.16214v1
Todos os direitos e créditos pertencem ao editor original.