ИИ обошли звездных астрономов: GPT-5 и Gemini 2.5 Pro на олимпиаде!
Модели GPT-5 и Gemini 2.5 Pro продемонстрировали уровень "золота" в задачах Международной олимпиады по астрономии и астрофизике (IOAA). Исследователи протестировали крупные языковые модели на задачах IOAA 2022–2025 годов, оценивая ответы согласно официальным правилам.
Интересно, что задачи IOAA-2025 были составлены совсем недавно (в августе 2025-го) и не входили в обучающие данные моделей. Однако результаты по ним соответствуют общим показателям прошлых лет, указывая на то, что модели решали задачи на основе понимания, а не просто вспоминали готовые ответы.
В эксперименте оценивались теоретический и аналитический туры (без наблюдательного). Оценка решений была максимально приближена к олимпиадной: единые условия, промпты и проверка по рубрикам. GPT-5 и Gemini 2.5 Pro стабильно достигали порога "золота" в обоих разделах. Средние результаты за 2022–2025 годы: GPT-5 — теория 84,2%, анализ данных 88,5%; Gemini 2.5 Pro — теория 85,6%, анализ данных 75,7%.
Другие модели показали менее стабильные результаты. В теоретическом туре OpenAI o3 и Claude (версии 4.1 Opus и 4 Sonnet) тоже демонстрировали уровень "золота". Однако в анализе данных наблюдалось снижение результатов: у o3 в 2023–2024 годах — "серебро", а у Claude Opus и Claude Sonnet в 2024–2025 — "бронза" и даже отсутствие награды.
Сильные стороны всех систем — работа с формулами, расчетами и известными соотношениями. Наиболее частые ошибки — концептуальные: геометрия, пространственное мышление, чтение и построение графиков, интерпретация рисунков. Авторы считают, что следующим шагом должно стать улучшение мультимодальности и создание "визуального блокнота рассуждений", что поможет моделям лучше выполнять задачи, требующие наглядности.
