Эра масштабирования ИИ завершена: фокус на исследования

Илья Суцкевер, сооснователь OpenAI и руководитель новой лаборатории SSI, заявил в интервью Дваркешу Пателю о завершении эпохи масштабирования. С 2020 по 2025 год прогресс в области ИИ достигался за счет увеличения вычислительных мощностей и объемов данных, но эта тенденция подходит к концу. Наступает новая эра – эра исследований, напоминающая ранний период глубокого обучения, когда приоритет отдавался архитектурным инновациям и новым идеям.

Ключевая проблема сегодня – значительная неэффективность обучения нейросетей по сравнению с человеком. В качестве примера Суцкевер приводит обучение вождению: подростку достаточно нескольких часов практики, чтобы освоить основы, в то время как современным системам RL требуются огромные ресурсы и продолжительное время симуляций для достижения аналогичного результата.

Суцкевер подчеркивает, что человек способен осваивать навыки, не заложенные эволюцией, такие как программирование или высшая математика. Это указывает на наличие в мозге универсального алгоритма адаптации, превосходящего существующие методы обучения нейросетей (Backpropagation и Reinforcement Learning). Пока этот алгоритм не будет найден, модели ИИ останутся уязвимыми, демонстрируя впечатляющие результаты в сложных задачах, но терпя неудачу в простых логических тестах.

Стратегия SSI заключается в сосредоточении на фундаментальных исследованиях, а не на коммерческой гонке. Суцкевер намерен изолировать команду от рыночных факторов и промежуточных релизов, чтобы сконцентрироваться на поиске ключевого элемента в машинном обучении. Теперь, когда масштабирование перестало гарантировать прогресс, инженерам предстоит вновь изобретать.

Цель SSI – создание системы, способной осваивать любые интеллектуальные задачи так же быстро, глубоко и надежно, как человек. В отличие от человека, цифровая система, освоив эффективный метод обучения, сможет масштабироваться бесконечно, преодолевая биологические ограничения.