Lernen auf dem Mannigfaltigen: Entschlüsselung standardisierter Diffusions-Transformer mit Repräsentations-Encodern
Von Gemini AI generiertes Bild
Ein neuer Ansatz namens Riemannian Flow Matching mit Jacobi-Regularisierung (RJF) geht Konvergenzprobleme in Diffusions-Transformern an, die bei der Generierung von hochqualitativen Ausgaben aus Repräsentationscodierern auftreten. Durch die Fokussierung auf Mannigfaltigkeits-Geodäten und die Korrektur von Krümmungsfehlern ermöglicht es RJF der DiT-B-Architektur (131 Millionen Parameter), einen signifikanten FID-Wert von 3,37 zu erreichen, was eine Verbesserung gegenüber vorherigen Methoden darstellt. Der Code ist unter dem angegebenen GitHub-Link verfügbar.
Standard-Diffusions-Transformatoren mit Riemannscher Flussanpassung freischalten
Ein neuer Ansatz, die Riemannsche Flussanpassung mit Jacobi-Regularisierung (RJF), löst Konvergenzprobleme bei Standard-Diffusions-Transformatoren. Diese Methode ermöglicht es, dass Diffusions-Transformatoren besser funktionieren, ohne teure Modifikationen vorzunehmen.
Frühere Forschungen verbanden Konvergenzfehler mit einem Kapazitätsengpass, aber diese Studie identifiziert geometrische Interferenz als die Hauptursache. Dies geschieht, wenn das standardmäßige Flussanpassungsverfahren Wahrscheinlichkeitswege durch Regionen mit niedriger Dichte lenkt, anstatt entlang der Mannigfaltigkeitsoberfläche, wo die Datenpunkte konzentriert sind.
Einführung der Riemannschen Flussanpassung
Die RJF-Methode beschränkt den generativen Prozess darauf, den Geodäten der Mannigfaltigkeit zu folgen, wodurch die durch Krümmung bedingte Fehlerausbreitung reduziert wird. Dies ermöglicht es der DiT-B-Architektur mit 131 Millionen Parametern, eine Fréchet-Inception-Distanz (FID) von 3,37 zu erreichen, was eine signifikante Verbesserung gegenüber früheren Methoden darstellt.
Auswirkungen auf generative Modellierung
Die Einführung von RJF verbessert die Genauigkeit der generativen Ausgaben. Das Forschungsteam hat die Implementierung von RJF öffentlich auf GitHub verfügbar gemacht.
Verwandte Themen:
📰 Originalquelle: https://arxiv.org/abs/2602.10099v1
Alle Rechte und Urheberrechte liegen beim ursprünglichen Herausgeber.