Atribución de datos resueltos por pasos para transformadores en bucle

Nuevo Método Mejora la Atribución de Datos en Transformadores en Bucle

Investigadores han desarrollado un enfoque novedoso, Influencia Descompuesta por Pasos (SDI), para mejorar la comprensión de cómo los ejemplos de entrenamiento individuales impactan en el cálculo dentro de los transformadores en bucle. Este avance aborda una limitación significativa en los métodos existentes, que solo proporcionan una única puntuación escalar que agrega influencia a través de todas las iteraciones, oscureciendo el momento de relevancia de un ejemplo.

SDI descompone la influencia atribuida por estimadores existentes como TracIn en una trayectoria de influencia detallada que abarca la duración de las iteraciones recurrentes. Al desplegar el grafo de computación recurrente, el nuevo método permite una atribución precisa de la influencia a iteraciones específicas del bucle, ofreciendo una imagen más clara del razonamiento involucrado en los modelos de transformadores.

Validación Experimental

Se realizaron extensos experimentos utilizando modelos de estilo GPT en bucle en diversas tareas de razonamiento algorítmico. Los resultados indican que SDI se escala de manera efectiva y se alinea estrechamente con las bases de referencia de gradiente completo, manteniendo una baja tasa de error. Este rendimiento demuestra el potencial de SDI como una herramienta confiable para la atribución de datos y la interpretabilidad en el aprendizaje automático.