Атрибуция данных с разрешением по шагам для петлевых трансформеров
Изображение создано Gemini AI
Исследователи разработали новый метод, называемый Step-Decomposed Influence (SDI), для анализа влияния отдельных обучающих примеров на трансформеры с обратной связью в процессе рекурсивных вычислений. В отличие от существующих методов, которые предоставляют единый коэффициент влияния, SDI предлагает детализированную траекторию влияния на каждом итерационном этапе. Реализованный с использованием TensorSketch, SDI избегает генерации градиентов для каждого примера, что делает его масштабируемым для моделей трансформеров. Эксперименты показывают, что SDI тесно сопоставим с традиционными методами полного градиента, при этом улучшая атрибуцию данных и интерпретируемость в задачах алгоритмического рассуждения.
Новый метод улучшает атрибуцию данных в циклических трансформерах
Исследователи разработали новый подход, называемый Step-Decomposed Influence (SDI), для улучшения понимания того, как отдельные примеры обучения влияют на вычисления в циклических трансформерах. Это достижение устраняет значительное ограничение существующих методов, которые предоставляют только одно скалярное значение, агрегирующее влияние на всех итерациях, что затрудняет определение времени актуальности примера.
SDI раскладывает влияние, атрибутируемое существующими оценщиками, такими как TracIn, на детализированную траекторию влияния, охватывающую продолжительность рекуррентных итераций. Разворачивая рекуррентный граф вычислений, новый метод позволяет точно атрибутировать влияние к конкретным итерациям цикла, предлагая более ясное представление о логике, задействованной в моделях трансформеров.
Экспериментальная проверка
Были проведены обширные эксперименты с использованием циклических моделей в стиле GPT на различных задачах алгоритмического рассуждения. Результаты показывают, что SDI эффективно масштабируется и близко согласуется с полными градиентными базами, поддерживая низкий уровень ошибок. Эта производительность демонстрирует потенциал SDI как надежного инструмента для атрибуции данных и интерпретируемости в машинном обучении.
Связанные темы:
📰 Первоисточник: https://arxiv.org/abs/2602.10097v1
Все права и авторство принадлежат первоначальному издателю.