GaMO: Difusión de Outpainting Multi-vista Consciente de la Geometría para la Reconstrucción 3D a Partir de Vistas Escasas

GaMO Revoluciona la Reconstrucción 3D con Outpainting de Difusión Multivista Consciente de la Geometría

Investigadores han presentado GaMO (Outpainter Multivista Consciente de la Geometría), un marco que mejora la reconstrucción 3D a partir de entradas de vistas escasas. Al expandir el campo de visión existente en lugar de generar nuevos puntos de vista de cámara, GaMO aborda las limitaciones que enfrentan los métodos actuales.

GaMO emplea una estrategia de outpainting multivista que aprovecha las poses de cámara existentes para mejorar el detalle de la escena mientras mantiene la consistencia geométrica. El marco utiliza métodos de condicionamiento multivista y denoising consciente de la geometría en un enfoque de cero disparos, eliminando la necesidad de entrenamiento previo.

Evaluaciones extensivas en conjuntos de datos como Replica y ScanNet++ muestran que GaMO logra una calidad de reconstrucción superior con 3, 6 y 9 vistas de entrada, superando a los modelos existentes en las métricas de Relación de Señal a Ruido Pico (PSNR) y Similitud de Patches de Imagen Perceptual Aprendida (LPIPS). También presenta una mejora de $25\times$ en la velocidad de procesamiento en comparación con los métodos basados en difusión de última generación, con tiempos de procesamiento total por debajo de 10 minutos.

Para más detalles, visita la Página del Proyecto GaMO.