Aprendizado no Manifold: Desbloqueando Transformers de Difusão Padrão com Codificadores de Representação

Desbloqueando Transformadores de Difusão Padrão com Correspondência de Fluxo Riemanniana

Uma nova abordagem, Correspondência de Fluxo Riemanniana com Regularização de Jacobi (RJF), resolve problemas de convergência em transformadores de difusão padrão. Este método permite que os transformadores de difusão tenham um desempenho melhor sem modificações caras.

Pesquisas anteriores ligaram falhas de convergência a um gargalo de capacidade, mas este estudo identifica a Interferência Geométrica como a causa principal. Isso ocorre quando a correspondência de fluxo padrão direciona caminhos de probabilidade através de regiões de baixa densidade em vez de ao longo da superfície do manifold onde os pontos de dados estão concentrados.

Apresentando a Correspondência de Fluxo Riemanniana

O método RJF restringe o processo generativo a seguir geodésicas de manifold, reduzindo a propagação de erros induzidos pela curvatura. Isso permite que a arquitetura DiT-B, com 131 milhões de parâmetros, alcance uma Distância de Fréchet de Incepção (FID) de 3,37, marcando uma melhoria significativa em relação aos métodos anteriores.

Implicações para Modelagem Generativa

A introdução do RJF aumenta a fidelidade das saídas generativas. A equipe de pesquisa disponibilizou a implementação do RJF publicamente no GitHub.