Attribution de données résolue par étape pour les transformateurs en boucle
Image générée par Gemini AI
Des chercheurs ont développé une nouvelle méthode appelée Influence Décomposée par Étapes (IDE) pour analyser comment des exemples d'entraînement individuels influencent les transformateurs lors de calculs récurrents. Contrairement aux méthodes existantes qui fournissent un score d'influence unique, l'IDE propose une trajectoire d'influence détaillée à chaque itération. Mise en œuvre via TensorSketch, l'IDE évite de générer des gradients par exemple, ce qui la rend évolutive pour les modèles de transformateurs. Les expériences montrent que l'IDE s'aligne étroitement avec les méthodes traditionnelles basées sur le gradient complet, tout en améliorant l'attribution des données et l'interprétabilité dans les tâches de raisonnement algorithmique.
Une nouvelle méthode améliore l'attribution des données dans les transformateurs en boucle
Des chercheurs ont développé une approche novatrice, l'Influence Décomposée par Étape (IDE), pour améliorer la compréhension de l'impact des exemples d'entraînement individuels sur le calcul au sein des transformateurs en boucle. Cette avancée répond à une limitation significative des méthodes existantes, qui ne fournissent qu'un score scalaire unique agrégant l'influence à travers toutes les itérations, obscurcissant ainsi la temporalité de la pertinence d'un exemple.
L'IDE décompose l'influence attribuée par des estimateurs existants comme TracIn en une trajectoire d'influence détaillée qui s'étend sur la durée des itérations récurrentes. En déroulant le graphe de calcul récurrent, la nouvelle méthode permet une attribution précise de l'influence à des itérations spécifiques de la boucle, offrant ainsi une vision plus claire du raisonnement impliqué dans les modèles de transformateurs.
Validation expérimentale
Des expériences approfondies ont été menées en utilisant des modèles de type GPT en boucle sur diverses tâches de raisonnement algorithmique. Les résultats indiquent que l'IDE s'échelonne efficacement et s'aligne étroitement sur des références de gradient complet, tout en maintenant un faible taux d'erreur. Cette performance démontre le potentiel de l'IDE en tant qu'outil fiable pour l'attribution des données et l'interprétabilité en apprentissage automatique.
Sujets connexes :
📰 Source originale : https://arxiv.org/abs/2602.10097v1
Tous les droits et crédits appartiennent à l'éditeur original.