GPT-5 и «Тест Гёделя»: Шаг к ИИ-открывателю?
На arXiv опубликован препринт, описывающий новый метод оценки больших языковых моделей — «тест Гёделя» (назван в честь Курта Гёделя, известного своими строгими математическими доказательствами). В отличие от существующих тестов, он оценивает не способность решать известные задачи, а умение находить новые, даже простые, математические решения.
Авторы исследования — профессор Моран Фельдман из Университета Хайфы, эксперт в области алгоритмов комбинаторной оптимизации, и Амин Карбаси, руководитель исследований в Cisco Foundation AI, ранее профессор Йельского университета и обладатель престижных грантов NSF, ONR и AFOSR. Оба активно исследуют области, связанные с этим тестом.
В ходе эксперимента были выбраны пять новых задач в области комбинаторной оптимизации. Модели предоставлялись 1–2 научные статьи, но формулировка самой гипотезы оставалась скрытой. Цель заключалась в том, чтобы определить, сможет ли GPT-5 вывести корректное доказательство, найти опровержение или запутаться.
Результаты оказались неоднозначными: в трех случаях GPT-5 предложила решения, которые исследователи оценили как почти верные — основная идея совпадала с нужной, но доказательство не было оформлено в полную, проверяемую форму. Интересно, что в одном случае модель смогла опровергнуть исходную гипотезу и предложить альтернативное решение. Две задачи оказались не по силам GPT-5 — ей не удалось объединить идеи из разных источников, а также справиться со сложным анализом.
«Тест Гёделя» важен тем, что он проверяет не воспроизведение готовых решений, а способность модели выдвигать новые гипотезы, хотя и в рамках небольших задач. Несмотря на то, что GPT-5 не прошла тест полностью — результат скорее частичный и основан на ограниченной выборке — авторы отмечают, что полученные данные указывают на прогресс в создании систем, способных самостоятельно формулировать и подтверждать новые идеи, и, возможно, участвовать в научных открытиях.
Что уж там говорить, пока до настоящих открытий далеко. Видимо, нам еще долго ждать, пока искусственный интеллект начнет выдавать теоремы вместо самоуверенных прогнозов о будущем.
