OpenAI's o3: Новый король бенчмарка? 75,7% — это вам не шутки!

Ребята из OpenAI снова в деле и, кажется, серьезно настроены подвинуть всех на пьедестале. Их новая модель под кодовым названием o3 буквально ворвалась в бенчмарк ARC-AGI-Pub, показав результат в 75,7%. Для тех, кто не в теме, ARC-AGI-Pub — это такой себе «экзамен» для ИИ, проверяющий его способность к обобщению и адаптации. И, судя по всему, o3 этот экзамен сдала на отлично.

Что же такого особенного в этой o3? Во-первых, она показала значительный прогресс, по сравнению с предыдущими моделями. 75,7% — это не просто цифра, это заявка на лидерство. Особенно учитывая, что речь идет о публичном бенчмарке, где конкуренция, мягко говоря, неслабая.

Конечно, сразу же возник вопрос: а не «натаскивали» ли модель специально под этот тест? OpenAI признались, что использовали 75% публичного набора данных для обучения. Но, как говорится, «дьявол кроется в деталях», и полные подробности обучения пока остаются за кадром.

Интересно и то, что для достижения такого результата потребовалось серьезное увеличение вычислительных мощностей — примерно в 172 раза, по сравнению с менее «прожорливой» конфигурацией. Это, кстати, намекает на то, что «железо» в этой гонке играет далеко не последнюю роль.

Несмотря на столь впечатляющие результаты, важно понимать, что o3 — это не общий искусственный интеллектв чистом виде. Эксперты подчеркивают, что до настоящего «общего» интеллекта еще далеко. Модель по-прежнему может «спотыкаться» на задачах, которые для человека кажутся элементарными.

Тем не менее прогресс налицо. o3 демонстрирует значительный скачок в способности ИИ к обобщению и адаптации, что, безусловно, является важным шагом на пути к созданию более «умных» и универсальных систем. В общем, следим за развитием событий.