SWE-BENCH PRO: Новый тест показал слабость ИИ в разработке
Компания Scale AI представила бенчмарк SWE-BENCH PRO — усовершенствованную версию популярного теста SWE-BENCH, предназначенную для оценки возможностей ИИ-агентов в условиях, максимально приближенных к реальной разработке программного обеспечения.
Бенчмарк включает 1 865 задач из 41 репозитория, разделенных на три категории: открытые (731 задача) с лицензиями, такими как GPL, коммерческие (276 задач) из закрытых кодовых баз стартапов и закрытый поднабор (858 задач) для предотвращения «подглядывания» в процессе обучения. Такой подход гарантирует проверку моделей на задачах, с которыми они не могли предварительно ознакомиться.
SWE-BENCH PRO отличается повышенной сложностью: в среднем, решение одной задачи требует изменения 107 строк кода в четырех файлах, а в некоторых случаях – нескольких сотен строк. Это соответствует реальным задачам сопровождения и развития крупных проектов.
Оценка проводилась с использованием единого агентского шаблона SWE-Agent с фиксированными настройками и метрикой Pass@1 (процент задач, решенных с первой попытки). Каждая модель имела до 200 шагов (действий) на задачу. Результаты актуальны на 18 сентября 2025 года.
Результаты показали ограниченный успех даже у самых мощных моделей. Лидером в открытой части набора стал GPT-5 (23,3%), за ним следует Claude Opus 4.1 (22,7%). В коммерческой части лучший результат составил 17,8% (Opus 4.1). Заметны различия по языкам: модели лучше справляются с Python и Go, чем с JavaScript и TypeScript.
Исследование демонстрирует существенный разрыв между текущими возможностями ИИ-агентов и требованиями реальной разработки. В то время как предыдущие тесты показывали более 70% успешных решений, новый бенчмарк фиксирует уровень около 18–23%. Разработчики считают, что SWE-BENCH PRO задает более реалистичную «базовую планку» для оценки прогресса и стимулирует создание действительно надежных и автономных помощников.
Ну что ж, похоже, ИИ еще предстоит многому научиться, прежде чем он сможет заменить наших любимых (и иногда раздражающих) программистов. А пока мы будем наслаждаться багами и горячо обсуждать новые фичи.
