UniX: Объединение авторегрессии и диффузии для понимания и генерации рентгеновских снимков грудной клетки
Изображение создано Gemini AI
Исследователи представили UniX — унифицированную медицинскую модель, которая улучшает понимание и генерацию рентгеновских снимков грудной клетки, разделяя задачи на авторегрессионные и диффузионные ветви. Этот подход, использующий механизм кросс-модального самовнимания, обеспечивает увеличение точности понимания на 46,1% и повышение качества генерации на 24,2%. UniX работает с лишь четвертью параметров по сравнению со своим предшественником, LLM-CXR, при этом демонстрируя сопоставимые результаты с моделями, специализированными для конкретных задач. Полные детали и ресурсы доступны на GitHub.
Модель UniX Революционизирует Понимание и Генерацию Рентгеновских Снимков Грудной Клетки
Новая модель под названием UniX была разработана для улучшения понимания и генерации рентгеновских снимков грудной клетки. Представленная исследователями, UniX отделяет визуальное понимание от реконструкции на уровне пикселей, достигая значительных успехов в обеих областях.
Существующие модели часто используют архитектуры с параметрическим разделением и автогрессивные методы, испытывая трудности с балансированием семантической абстракции и детализированной реконструкции пикселей. UniX преодолевает эти ограничения с помощью архитектуры с двумя ветвями: автогрессивной ветвью, посвященной пониманию, и диффузионной ветвью, сосредоточенной на высококачественной генерации.
Ключевые Особенности и Инновации
UniX вводит новый механизм кросс-модального самовнимания, который улучшает генерацию за счет включения признаков понимания. Строгая система очистки данных и многоступенчатая стратегия обучения способствуют эффективному взаимодействию между ветвями.
На контрольных тестах UniX зафиксировал улучшение в понимании на 46,1% и увеличение качества генерации на 24,2%, при этом используя лишь четверть параметров по сравнению с моделью LLM-CXR.
Влияние и Доступность
Сравнивая производительность со специализированными моделями, UniX устанавливает новую парадигму для понимания и генерации медицинских изображений. Разработчики и исследователи могут получить доступ к модели и связанным с ней кодам на GitHub.
Связанные темы:
📰 Первоисточник: https://arxiv.org/abs/2601.11522v1
Все права и авторство принадлежат первоначальному издателю.