ИИ не готов заменить ученых: новый тест выявил слабые места
Новая масштабная проверка, названная “CritPt”, объединила усилия более 50 физиков из 30 научных институтов, чтобы оценить способность современных моделей искусственного интеллекта решать задачи, сопоставимые с работой аспиранта-исследователя.
Этот бенчмарк включает 71 уникальную задачу из 11 различных областей науки, таких как квантовая физика, астрофизика, физика высоких энергий и биофизика. Важно отметить, что все эти задачи являются оригинальными и ранее не публиковались.
Результаты продемонстрировали серьезные ограничения существующих ИИ-моделей. В независимом тестировании от Artificial Analysis, модель Gemini 3 Pro Preview показала точность всего 9,1%, а GPT-5.1 (high) – около 4,9%. Учитывая, что задачи разрабатывались для профессиональных ученых, даже такие показатели выглядят скромно. Большинство моделей справляются менее чем с 10% задач.
Особенно заметно снижение производительности при использовании строгой метрики “Consistently Solved Rate”, требующей правильного решения задачи 4-5 раз из 5 попыток. В этом случае модели быстро теряют работоспособность, что свидетельствует о недостаточной стабильности, помимо проблем с точностью.
Исследователи пришли к выводу, что современные большие языковые модели пока не обладают достаточной строгостью, инновационностью и точностью для автономной исследовательской работы. Наиболее реалистичным представляется использование ИИ в качестве помощника, а не полноценной замены человека при проведении научных исследований.
Пока как модели демонстрируют прогресс в узкоспециализированных подзадачах, их применение в реальных научных проектах часто приводит к появлению правдоподобных, но ошибочных ответов, требующих тщательной проверки со стороны экспертов.
Следовательно, для индустрии ИИ это повод задуматься. Амбициозные планы по созданию полностью автономных исследовательских систем, похоже, пока не осуществимы. Наиболее перспективным направлением является развитие систем, которые работают в тесном сотрудничестве с человеком.
