Schrittweise aufgelöste Datenattribution für geschlossene Transformatoren
Von Gemini AI generiertes Bild
Forscher haben eine neue Methode namens Step-Decomposed Influence (SDI) entwickelt, um zu analysieren, wie einzelne Trainingsbeispiele während wiederkehrender Berechnungen die Leistung von Transformer-Modellen beeinflussen. Im Gegensatz zu bestehenden Methoden, die nur einen einzelnen Einflusswert liefern, bietet SDI eine detaillierte Einflusskurve für jede Iteration. Die Implementierung erfolgt mithilfe von TensorSketch, wodurch die Berechnung von gradientspezifischen Einflüssen pro Beispiel entfällt und die Methode für Transformer-Modelle skalierbar bleibt. Experimentelle Ergebnisse zeigen, dass SDI eng mit traditionellen Vollgradientenmethoden übereinstimmt und gleichzeitig die Datenattribution sowie die Interpretierbarkeit in algorithmischen Entscheidungsprozessen verbessert.
Neue Methode verbessert die Datenattribution in geschleiften Transformatoren
Forscher haben einen neuartigen Ansatz entwickelt, die Step-Decomposed Influence (SDI), um das Verständnis dafür zu verbessern, wie einzelne Trainingsbeispiele die Berechnung innerhalb geschleifter Transformatoren beeinflussen. Dieser Fortschritt behebt eine wesentliche Einschränkung bestehender Methoden, die lediglich einen einzelnen Skalarwert bieten, der den Einfluss über alle Iterationen aggregiert und damit den zeitlichen Zusammenhang der Relevanz eines Beispiels verschleiert.
SDI zerlegt den Einfluss, der von bestehenden Schätzern wie TracIn zugeordnet wird, in eine detaillierte Einflusskurve, die sich über die Dauer der rekurrenten Iterationen erstreckt. Durch das Entwirren des rekurrenten Berechnungsgraphen ermöglicht die neue Methode eine präzise Zuweisung des Einflusses auf spezifische Schleifeniteration, was ein klareres Bild des Denkprozesses in Transformator-Modellen bietet.
Experimentelle Validierung
Umfassende Experimente wurden mit geschleiften GPT-ähnlichen Modellen zu verschiedenen algorithmischen Denkaufgaben durchgeführt. Die Ergebnisse zeigen, dass SDI effektiv skaliert und eng mit vollständigen Gradienten-Baselines übereinstimmt, während es eine niedrige Fehlerrate beibehält. Diese Leistung demonstriert das Potenzial von SDI als zuverlässiges Werkzeug für Datenattribution und Interpretierbarkeit im maschinellen Lernen.
Verwandte Themen:
📰 Originalquelle: https://arxiv.org/abs/2602.10097v1
Alle Rechte und Urheberrechte liegen beim ursprünglichen Herausgeber.