MedSAM-3: ИИ-сегментация медицинских изображений по текстовому запросу

MedSAM-3 – новый исследовательский проект, направленный на адаптацию возможностей сегментации по текстовым запросам для применения в медицине.

Несмотря на впечатляющие результаты оригинальной SAM 3, ее применение к клиническим данным оказалось затруднительным из-за путаницы в анатомических структурах и непонимания медицинской терминологии.

MedSAM-3 решает эту проблему, позволяя врачам выделять интересующие их объекты на медицинских изображениях (МРТ, КТ, УЗИ, гистопатология) с помощью запросов на естественном языке, например: «сегментируй опухоль молочной железы».

В основе MedSAM-3 лежит архитектура SAM 3 с двойным трансформером. В процессе обучения энкодеры изображений и текста были заморожены для сохранения визуальных характеристик оригинала, а детекторы прошли обучение (SFT) на специализированных медицинских наборах данных. Это позволило объединить мощь SAM 3 и ее понимание медицинской специфики.

Конфигурация MedSAM-3 T+I, объединяющая текстовые подсказки с ограничивающими рамками, показала наилучшие результаты в тестах, превзойдя классический U-Net и первую версию MedSAM на бенчмарках BUSI (Dice score – 0.7772) и Kvasir-SEG.

Разработчики также представили MedSAM-3 Agent – агентский фреймворк, использующий большую мультимодальную языковую модель (LLM), в экспериментах – Gemini 3 Pro, в качестве планировщика. Gemini 3 Pro анализирует запрос, формирует логическую цепочку и управляет процессом сегментации.

При использовании Gemini 3 Pro метрика Dice на тестовом наборе BUSI увеличилась с 0.7772 до 0.8064.

Проект представлен в виде технического отчета, однако разработчики планируют в ближайшее время опубликовать код и веса модели.