FLEx: Моделирование языка с использованием объяснений в условиях малой выборки
Изображение создано Gemini AI
Исследователи разработали метод FLEx (Few-shot Language Explanations), который улучшает работу языковых моделей, используя небольшой набор тщательно подобранных объяснительных примеров. Метод основан на кластеризации ошибок модели и обобщении эффективных исправлений, что позволяет повысить точность в таких задачах, как решение математических задач и ответ на вопросы, без изменения весов модели. Оценка на таких датасетах, как CounterBench и GSM8K, показала, что FLEx значительно превосходит традиционный подход с цепочкой размышлений, снижая количество ошибок до 83%. Этот метод может упростить процесс исправления в областях, требующих экспертного мнения.
FLEx представляет объяснения в стиле few-shot для повышения точности языковых моделей
Новый подход, FLEx (Few-shot Language Explanations), нацелен на улучшение точности языковых моделей с использованием минимального количества объяснительных примеров. FLEx определяет и выбирает репрезентативные ошибки, допущенные моделью, с помощью методов кластеризации на основе встраивания и проверяет сопутствующие объяснения для исправления этих ошибок. В результате получается префикс запроса, добавляемый в момент вывода, который направляет модель избегать подобных ошибок в будущих вводах, не изменяя её основные веса.
Оценка и производительность
FLEx был оценен с использованием трех наборов данных: CounterBench, GSM8K и ReasonIF. Результаты показывают, что FLEx стабильно превосходит традиционный подход с цепочкой размышлений (CoT), сокращая до 83% ошибок, которые остаются при использовании CoT.
Связанные темы:
📰 Первоисточник: https://arxiv.org/abs/2601.04157v1
Все права и авторство принадлежат первоначальному издателю.