SIMA 2: Новый агент от DeepMind превосходит предшественника

SIMA 2 — это качественно новый агент от Google DeepMind, демонстрирующий возможности крупных языковых моделей в активном взаимодействии с миром. Его цель — понимать и выполнять сложные инструкции на естественном языке в динамичных 3D-мирах, имитируя человеческие действия. Обучение и тестирование проводятся на коммерческих играх (No Man's Sky, Valheim) и специализированных симуляторах.

В основе SIMA 2 лежит модель Gemini, дообученная на данных из виртуальных сред. В отличие от SIMA 1, новый агент демонстрирует осмысленное поведение, способен поддерживать диалог и строить многошаговые планы, приближаясь к понятию «агентности».

SIMA 2 почти вдвое превосходит предшественника в обучающих средах, достигая 86% успешности по автоматическим оценкам и 76% по человеческим, что сравнимо с уровнем человека-оператора (88% и 78% соответственно).

Агент практически сравнялся с человеком в задачах, требующих понимания контекста и работы с интерфейсами, но уступает в задачах на тонкую моторику и быстрое принятие решений. Это связано с сложностью интеграции высокоуровневого планирования и низкоуровневого контроля.

SIMA 2 стабильно растет в результативности даже в новых средах (например, ASKA), в отличие от SIMA 1, что доказывает его способность переносить принципы, а не заученные паттерны.

SIMA 2 успешно выполняет навигационные задачи в фотореалистичных мирах, сгенерированных Genie 3, с которыми ранее не сталкивался.

Ключевое отличие SIMA 2 — возможность автономного улучшения благодаря использованию Gemini в качестве «постановщика задач» и «судьи», создавая петлю самообучения.

В игре ASKA успешность SIMA 1 составляет 23%, а SIMA 2 — 36%, в Minecraft (MineDojo) прогресс еще заметнее: с 4% до 15%. Новый агент корректно идентифицирует объекты и взаимодействует с меню.

Ключевые отличия:

1. Гибридный подход: объединение Gemini с данными воплощенного взаимодействия повышает эффективность.

2. Обобщение: способность агента показывать результат в новых мирах (15-36% против 4-23% у предшественника) доказывает извлечение фундаментальных принципов.

3. Самообучение: агент способен автономно формировать и совершенствовать навыки.

SIMA 2 — это рабочий прототип новой архитектуры ИИ, где мощь фундаментальных моделей реализуется через взаимодействие с миром. Доказанный рост производительности и способность к автономному обучению задают ориентиры для развития воплощённого интеллекта.

Источник: Cornell University