GaMO : Outpainting de diffusion multi-vues sensible à la géométrie pour la reconstruction 3D à partir de vues rares

GaMO Révolutionne la Reconstruction 3D avec le Outpainting Diffusif Multi-vues Sensible à la Géométrie

Des chercheurs ont dévoilé GaMO (Outpainter Multi-vues Sensible à la Géométrie), un cadre qui améliore la reconstruction 3D à partir d'entrées à vues limitées. En élargissant le champ de vision existant plutôt qu'en générant de nouveaux points de vue caméra, GaMO aborde les limitations rencontrées par les méthodes actuelles.

GaMO utilise une stratégie de outpainting multi-vues qui tire parti des poses de caméra existantes pour améliorer le détail de la scène tout en maintenant la cohérence géométrique. Le cadre utilise des méthodes de conditionnement multi-vues et de débruitage sensible à la géométrie dans une approche zéro-shot, éliminant ainsi le besoin d'un entraînement préalable.

Des évaluations approfondies sur des ensembles de données comme Replica et ScanNet++ montrent que GaMO atteint une qualité de reconstruction supérieure avec 3, 6 et 9 vues d'entrée, dépassant les modèles existants en termes de Rapport Signal-sur-Bruit (PSNR) et de Similarité de Patch d'Image Perceptuelle Apprise (LPIPS). Il affiche également une amélioration de $25\times$ en vitesse de traitement par rapport aux méthodes de diffusion de pointe, avec des temps de traitement totaux inférieurs à 10 minutes.

Pour plus de détails, visitez la Page du Projet GaMO.