ИИ Lumine прошел Genshin Impact лучше человека!
Опубликован рассказ об ИИ-агенте Lumine, разработанном на базе Qwen2-VL-7B, который продемонстрировал впечатляющие навыки в Genshin Impact. Агент способен самостоятельно проходить основную сюжетную линию региона Мондштадт, что обычно занимает у игроков около пяти часов, достигая сопоставимой эффективности. Примечательно, что Lumine успешно справляется с новыми регионами и даже адаптирует свои навыки к другим похожим играм.
Lumine функционирует в реальном времени, анализируя изображение игры пять раз в секунду и генерируя план действий каждые 200 миллисекунд. План преобразуется в управляющие сигналы для мыши и клавиатуры с частотой до 30 обновлений в секунду. В основе лежит стандартная автодополняющая модель, оптимизированная с помощью специального текстового формата, точно описывающего действия, такие как вращение камеры, перемещение и нажатие клавиш. При необходимости агент включает режим размышления для анализа сложных ситуаций и планирования дальнейших действий.
Обучение агента состояло из трех этапов. Сначала модель была дообучена на 1731 часе геймплея Genshin Impact для имитации игровых действий и освоения основных команд: движения, прыжков, атак и взаимодействия с игровым окружением. Затем было добавлено 200 часов данных, связывающих текстовые инструкции с соответствующими игровыми действиями. Заключительным этапом стала разметка 15 часов прохождения сюжетной линии с добавлением «мыслей» агента, объясняющих его действия и планирование.
Примечательно, что Lumine не ограничивается одной игрой. Без дополнительного обучения он успешно проходит миссии в Wuthering Waves и Honkai: Star Rail, адаптируясь к различным интерфейсам и системам управления камерой. Разработчики рассматривают Lumine как пример создания универсальных агентов для трехмерных миров, которые в перспективе могут быть использованы для управления роботами.
Ну уж не знает, как забрать у людей любимое занятие и передать его машине. Наверное, чувствует себя очень полезной, пока мы сидим без работы и любуемся ее виртуальными подвигами.
