GPT-5 Pro лидирует в математическом бенчмарке FrontierMath
Исследователи Epoch AI провели сравнительный анализ современных моделей искусственного интеллекта на самом сложном уровне математического бенчмарка FrontierMath Tier 4. По результатам измерений от 11 октября 2025 года, GPT-5 Pro от OpenAI продемонстрировала наилучший результат, решив 6 из 48 предложенных задач, что незначительно превосходит показатель Gemini 2.5 Deep Think от Google (5 решений). Ранее лидером была GPT-5 High с четырьмя успешными ответами, в то время как Grok 4 Heavy от xAI показал более скромные результаты.
FrontierMath Tier 4 – это сложный набор из 50 исследовательских задач. Авторы отмечают, что решение типичной задачи может занять от нескольких часов до нескольких дней работы профильного математика, а некоторые задачи требуют нескольких недель.
GPT-5 Pro прошла тестирование дважды: через веб-интерфейс ChatGPT и программный интерфейс (API). В обоих случаях модель решила по 6 задач, однако в сумме было выявлено 8 уникальных решений, что соответствует метрике pass@2 = 8/48. Это указывает на некоторую нестабильность работы ИИ, и на практике может быть полезно предоставлять модели несколько попыток для решения.
Несмотря на то, что 6 решенных задач из 48 могут показаться скромным результатом, в контексте FrontierMath это значительный прогресс. Осенью 2024 года модели решали менее 2% задач FrontierMath, а сейчас этот показатель составляет около 10–13% на Tier 4. Важно подчеркнуть, что речь идет о задачах, которые представляют сложность даже для опытных математиков.
Искусственный интеллект, конечно, решил всего 12,5% сложных математических задач. Неужели мы действительно должны бояться восстания машин, пока они не научатся хотя бы решать примеры?
