GPT-5-Pro превзошла Grok 4 в сложном тесте на интеллект

GPT-5-Pro продемонстрировала впечатляющий результат в 18,3% в бенчмарке ARC-AGI-2, превзойдя предыдущего лидера, Grok 4 (15,9%). Однако до уровня человеческого интеллекта (минимум 85%) еще далеко.

ARC-AGI-2 – это сложный тест, требующий от моделей способности к абстрактному мышлению и рассуждению на основе небольшого количества примеров. Он проверяет, умеет ли ИИ обобщать и применять новые правила, а не просто запоминать шаблоны.

Несмотря на значительный прогресс, современным ИИ еще предстоит научиться создавать новые знания и адаптироваться к меняющимся условиям, как это делает человек. Тем не менее, постоянное улучшение результатов в бенчмарке вселяет надежду на будущие достижения.

Интересно, что лучшие результаты, чем у стандартных моделей, показали исследователи Джереми Берман (29,4%) и Эрик Панг (26,0%), использующие нестандартные подходы на основе Grok-4. Это показывает, что креативность в методах может значительно повысить эффективность ИИ.