Claude лидирует в новом бенчмарке рабочих задач
Компания Artificial Analysis представила GDPval-AA — собственный бенчмарк для оценки возможностей больших языковых моделей на реальных рабочих задачах. Тест включает в себя 44 профессии и 9 отраслей, где модели должны создавать презентации, работать с таблицами Excel, писать документы Word и даже выполнять рендеринг видео.
Лучший результат показал Claude Opus 4.5, набрав 1426 Elo. В топ-5 также вошли GPT-5 (1311 Elo), Claude Sonnet 4.5 (1291), а также DeepSeek V3.2 и Gemini 3 Pro, разделившие пятое место с 1206 очками. Интересно, что более новая модель OpenAI, GPT-5.1, продемонстрировала результат хуже, чем GPT-5.
Согласно данным Artificial Analysis, GPT-5.1 использует на 50% меньше токенов, но при этом потеряла 67 Elo в производительности. Похоже, стремление к эффективности негативно сказалось на качестве выполнения задач.
В отдельном тесте, оценивающем готовые чат-приложения, Claude с Opus 4.5 Thinking снова лидировал (1325 Elo), а ChatGPT с GPT-5.1 занял второе место (1129). Разница в 200 очков объясняется не только мощностью модели, но и способностью Claude создавать видео- и аудиофайлы, в то время как другие приложения испытывали трудности с различными форматами и задачами.
Стоит отметить, что лидерство Claude обходится значительно дороже: полный прогон бенчмарка составил $608. GPT-5 обошелся в $167, а DeepSeek V3.2 – всего в $29. DeepSeek V3.2 оказался единственной моделью, сочетающей высокую производительность (топ-5) и низкую стоимость, попав в так называемый "зеленый квадрант" графика цена/качество.
В общем, пока все пытаются догнать Claude, он спокойно продолжает генерировать видео и аудио, наслаждаясь своим превосходством и, вероятно, подсчитывая гонорары. Остальным остается лишь оптимизировать токены и надеяться на лучшее.
