Attribuzione dei dati risolta per passi per trasformatori a ciclo.

Nuovo Metodo Migliora l'Attribuzione dei Dati nei Trasformatori Ricorrenti

I ricercatori hanno sviluppato un approccio innovativo, il Step-Decomposed Influence (SDI), per migliorare la comprensione di come i singoli esempi di addestramento influenzano il calcolo all'interno dei trasformatori ricorrenti. Questo progresso affronta una limitazione significativa nei metodi esistenti, che forniscono solo un singolo punteggio scalare che aggrega l'influenza su tutte le iterazioni, oscurando il momento in cui un esempio risulta rilevante.

SDI scompone l'influenza attribuita da stimatori esistenti come TracIn in una traiettoria di influenza dettagliata che si estende per tutta la durata delle iterazioni ricorrenti. Srotolando il grafo di calcolo ricorrente, il nuovo metodo consente un'attribuzione precisa dell'influenza a specifiche iterazioni del ciclo, offrendo un quadro più chiaro del ragionamento coinvolto nei modelli di trasformatori.

Validazione Sperimentale

Estesi esperimenti sono stati condotti utilizzando modelli di tipo GPT ricorrente su vari compiti di ragionamento algoritmico. I risultati indicano che SDI scala efficacemente e si allinea strettamente con le basi di riferimento a pieno gradiente, mantenendo un basso tasso di errore. Questa prestazione dimostra il potenziale di SDI come strumento affidabile per l'attribuzione dei dati e l'interpretabilità nel machine learning.