GPT-5 Pro приблизилась к человеческому уровню в сложном тесте ИИ

Исследователь Джереми Берман представил мультиагентную систему на основе GPT-5 Pro, достигшую 88 из 100 баллов в бенчмарке ARC-AGI-1, затратив около 27 долларов на задачу и 12 часов на выполнение. Автор предполагает, что после официальной верификации результат может немного снизиться, но останется около 85%, приближаясь к человеческому уровню.

ARC-AGI-1 — это бенчмарк, оценивающий способность к абстрактному мышлению и выводу общих правил. Порог в 85% считается соответствующим среднему человеческому интеллекту. Предыдущий рекорд — 79,6% — также был установлен Берманом, а обычная GPT-5 Pro показала 70,2%.

Система Бермана использует метод эволюционного поиска, где параллельно работающие копии GPT-5 Pro генерируют множество решений, оценивают их качество и постепенно улучшают, отбирая лучшие варианты. В процессе задействована сложная система агентов, отвечающих за генерацию, проверку и поддержание разнообразия решений.

Этот результат подтверждает тенденцию развития больших языковых моделей (LLM) в сторону использования параллельных систем, объединяющих несколько моделей для решения сложных задач. Подобный подход уже реализован в Grok 4 Heavy и Gemini 2.5 Deep Think.