ИИ мыслит иначе: исследование выявило ограничения в рассуждениях

Команда учёных провела масштабный анализ 171485 «трасс рассуждений» от 17 открытых моделей ИИ, сравнив их с решениями 54 человек в различных областях – от математики до сложных этических дилемм.

Исследование показало, что ИИ демонстрирует разнообразие подходов при решении структурированных задач, таких как математические примеры. Однако, при столкновении с неоднозначными или абстрактными задачами, модели склонны к линейным вычислениям и простым проверкам, теряя гибкость.

В отличие от ИИ, люди в подобных ситуациях используют метакогнитивный подход: меняют стратегии, применяют абстракции, анализируют причинно-следственные связи и пересматривают свои действия. Именно эти глубокие когнитивные процессы связаны с успешным решением сложных задач.

Учёные отмечают, что традиционные методы оценки ИИ, фокусирующиеся только на конечном результате, могут давать неверное представление о его реальных способностях. Новый фреймворк, включающий 28 когнитивных компонентов, выявил, что ИИ часто полагается на знакомые шаблоны, а не на истинное рассуждение.

Интересно, что при использовании специальных подсказок, структурирующих процесс решения (сбор фактов, структурирование, вывод), некоторые сильные модели (Qwen-, Llama- и Qwen-Distill-семейства) повышают точность до 60% в задачах с открытым контекстом. Однако, слабые модели при этом могут показывать снижение производительности.

Авторы исследования подчёркивают, что до достижения человеческого уровня рассуждений ИИ ещё далеко. Тем не менее, разработанная карта когнитивных механизмов и трасс рассуждений станет ценным инструментом для создания следующего поколения моделей, способных к более глубокому и принципиальному мышлению.