Atribuição de dados resolvida por passos para transformadores em loop
Imagem gerada por Gemini AI
Pesquisadores desenvolveram um novo método denominado Influência Decomposta em Etapas (Step-Decomposed Influence ou SDI) para analisar como exemplos de treinamento individuais impactam transformadores em loop durante cálculos recorrentes. Diferentemente dos métodos existentes que oferecem uma única pontuação de influência, o SDI fornece uma trajetória de influência detalhada a cada iteração. Implementado com o uso do TensorSketch, o SDI evita a geração de gradientes por exemplo, tornando-se escalável para modelos de transformadores. Experimentos demonstram que o SDI se alinha de perto com métodos tradicionais de gradiente completo, ao mesmo tempo em que melhora a atribuição de dados e a interpretabilidade em tarefas de raciocínio algorítmico.
Novo Método Melhora Atribuição de Dados em Transformers com Laços
Pesquisadores desenvolveram uma abordagem inovadora, chamada Influência Decomposta em Etapas (SDI), para melhorar a compreensão de como exemplos individuais de treinamento impactam a computação dentro de transformers com laços. Este avanço aborda uma limitação significativa nos métodos existentes, que apenas fornecem uma única pontuação escalar que agrega influência ao longo de todas as iterações, obscurecendo o momento da relevância de um exemplo.
O SDI decompõe a influência atribuída por estimadores existentes como o TracIn em uma trajetória de influência detalhada que abrange a duração das iterações recorrentes. Ao desenrolar o gráfico de computação recorrente, o novo método permite uma atribuição precisa da influência a iterações específicas do laço, oferecendo uma visão mais clara do raciocínio envolvido nos modelos de transformers.
Validação Experimental
Extensos experimentos foram realizados utilizando modelos estilo GPT com laços em várias tarefas de raciocínio algorítmico. Os resultados indicam que o SDI escala de forma eficaz e se alinha de perto com as referências de gradiente completo, mantendo uma baixa taxa de erro. Este desempenho demonstra o potencial do SDI como uma ferramenta confiável para atribuição de dados e interpretabilidade em aprendizado de máquina.
Tópicos relacionados:
📰 Fonte original: https://arxiv.org/abs/2602.10097v1
Todos os direitos e créditos pertencem ao editor original.