MIRA: Новый бенчмарк для оценки визуального мышления ИИ
Исследователи ByteDance представили новый бенчмарк MIRA (Multimodal Imagination for Reasoning Assessment), оценивающий способность моделей рассуждать на основе промежуточных визуальных шагов. Бенчмарк состоит из 546 задач в 20 категориях, требующих визуального восприятия, таких как работа с кубиками, зеркалами, траекториями и понимание физических сил.
Эксперименты проводились в трех режимах: Direct (прямой ответ), Text-CoT (рассуждение текстом) и Visual-CoT (рассуждение через визуальные шаги). Результаты показали, что в Direct-режиме ни одна модель не достигла точности выше 20%, а использование Text-CoT иногда приводило к ее снижению (например, Gemini 2.5 Pro потеряла 18%). Применение Visual-CoT обеспечило средний прирост точности в 33,7%, особенно в задачах, связанных с физикой и точными науками.
Исследование подтверждает, что моделям необходим визуальный подход к мышлению. Текстовые описания часто оказываются недостаточными для понимания пространственных отношений и причинно-следственных связей. Предоставление моделям визуальных эскизов промежуточных этапов значительно повышает их способность к рассуждению и решению сложных задач.
Оказывается, даже самым продвинутым нейросетям иногда нужно, чтобы им нарисовали картинки, чтобы они поняли, что происходит. Кто бы мог подумать, что искусственный интеллект так любит детские рисунки?
