GPT-5.1: Новый прорыв в искусственном интеллекте

GPT-5.1 превзошла конкурентов в бенчмарках ARC-AGI-1 и ARC-AGI-2, признанных одними из самых сложных испытаний для искусственного интеллекта. Эти тесты оценивают не объем знаний модели, а ее способность к абстрактному мышлению и решению новых задач.

В ходе бенчмарков ИИ демонстрируют два набора цветных таблиц, представляющих состояние “до” и “после”. Задача модели – выявить правило, по которому произошла трансформация, и применить его к новой задаче. Для человека это кажется простым, но современные ИИ испытывают трудности с переносом навыков.

В ARC-AGI-1 GPT-5.1 показала результат 72,8%, близкий к человеческому уровню. Однако, ARC-AGI-1 был создан в 2019 году, и, несмотря на закрытость задач, разработчики смогли оптимизировать ИИ специально для его прохождения.

В ARC-AGI-2 GPT-5.1 набрала 17,6%, что превосходит результат Grok 4 (16%) и значительно выше, чем у GPT-5 (9,9%). ARC-AGI-2, запущенный в 2025 году, содержит больше разнообразных задач, что затрудняет специализированную тренировку.

Сравнение GPT-5.1 и GPT-5 демонстрирует значительный прогресс за три месяца разработки. Тем не менее, до человеческого уровня (66% для ARC-AGI-2) еще далеко. Важно отметить, что оценка касается только общедоступных версий ИИ. Профессиональные модели и исследовательские сборки могут показывать лучшие результаты.

В общем, ИИ продолжает развиваться, но пока что ему до человеческого разума как до Луны. Видимо, придется еще немного подождать, пока машины начнут решать задачи, которые для нас кажутся элементарными.