Escalando Além dos Modelos de Linguagem com Difusão Mascarada
Imagem gerada por Gemini AI
Pesquisas recentes revelam que modelos de difusão mascarada, embora atualmente liderem em termos de pontuação de perplexidade, podem ser aprimorados em 12% em eficiência de FLOPs ao utilizar um objetivo de treinamento de entropia cruzada. O estudo questiona a ideia de que a perplexidade é uma métrica confiável para comparar diferentes modelos de difusão. Notavelmente, a difusão em estado uniforme superou tanto os modelos autoregressivos quanto os modelos de difusão mascarada no benchmark GSM8K, apesar de apresentar uma perplexidade inferior. Todos os detalhes e recursos estão disponíveis na página do projeto.
Novas Descobertas Desafiam a Dominância dos Modelos de Linguagem de Difusão Mascarada
Pesquisas recentes revelam que modelos de difusão mascarada alcançam aproximadamente 12% mais eficiência em operações de ponto flutuante (FLOPs) quando treinados com um objetivo de entropia cruzada. Este estudo serve como a primeira análise abrangente das leis de escalonamento para métodos de difusão de estado uniforme e interpolação discreta.
Quando escalonados para 1,7 bilhões de parâmetros, os modelos de difusão de estado uniforme superaram tanto os modelos autoregressivos quanto os modelos de difusão mascarada no benchmark GSM8K, apesar de uma perplexidade de validação mais alta. Esta descoberta questiona a suposição de que a difusão mascarada é o futuro definitivo para a modelagem de linguagem de difusão.
A pesquisa sugere uma reavaliação das métricas usadas para avaliar a eficácia do modelo, indicando que confiar apenas na perplexidade pode não capturar totalmente o potencial prático de um modelo.
Tópicos relacionados:
📰 Fonte original: https://arxiv.org/abs/2602.15014v1
Todos os direitos e créditos pertencem ao editor original.