Могут ли языковые модели с визуальным восприятием изучать интуитивную физику через взаимодействие?
Изображение создано Gemini AI
Недавние исследования показывают, что предварительно обученные модели, объединяющие визуальные и языковые данные, испытывают трудности с интуицией в физическом мире. Хотя supervised fine-tuning (супервизорное дообучение) улучшает результаты на простых задачах, оно не приводит к созданию надежных и обобщаемых физических правил. Эксперименты, использующие обучение с подкреплением для интерактивного обучения, улучшили производительность по конкретным задачам, но не обеспечили обобщение на смежные задачи, даже когда существовали визуальные и физические сходства.
Модели языков зрения испытывают трудности с интуитивной физикой, показывают исследования
Недавние исследования показывают, что предварительно обученные модели языков зрения не обладают фундаментальным пониманием физических динамик, несмотря на усилия по улучшению их возможностей через контролируемую донастройку. Эти модели демонстрируют улучшение производительности в базовых физических задачах, однако улучшения не распространяются на надежные обобщения в различных контекстах.
Ключевые результаты по производительности моделей
Одним из значительных результатов является то, что модели, обученные на конкретных задачах, не могут эффективно переносить свои знания на смежные задачи, даже если эти задачи имеют схожие визуальные статистики и основные физические принципы. Этот разрыв подчеркивает ограничения существующих методологий обучения, которые полагаются на взаимодействие без развития более широкого понимания.
Хотя обучение с подкреплением может улучшить непосредственную производительность задач, оно не предоставляет моделям инструментов для применения изученных концепций в различных сценариях. Это вызывает вопросы о эффективности существующих учебных рамок для развития интуитивной физики в системах ИИ.
Связанные темы:
📰 Первоисточник: https://arxiv.org/abs/2602.06033v1
Все права и авторство принадлежат первоначальному издателю.