Lumine: ИИ-агент, который играет в Genshin Impact и другие 3D-игры

Компания ByteDance представила Lumine – инновационного ИИ-агента, способного самостоятельно выполнять сложные и продолжительные задания в популярных 3D-играх, таких как Genshin Impact, Honkai: Star Rail и Wuthering Waves. В отличие от многих существующих решений, Lumine анализирует видеопоток с экрана и генерирует команды для клавиатуры и мыши в режиме реального времени.

В основе агента лежит модель Qwen2-VL-7B, обученная на 1700 часах реального игрового процесса. Обучение проходило в несколько этапов: от освоения базовых действий до понимания инструкций и, наконец, развития адаптивного мышления на основе логических задач.

В ходе тестирования Lumine продемонстрировал способность:
• эффективно сражаться с боссами, применяя тактические приемы;
• решать головоломки различной сложности;
• взаимодействовать с неигровыми персонажами;
• переносить полученные навыки на новые игровые локации и даже в незнакомые игры без дополнительной настройки.

Разработчики подчеркивают универсальность и автономность Lumine как ключевые преимущества. Агент способен учиться на примере человеческой игры, адаптироваться к изменяющимся условиям и обеспечивать высокую производительность в динамичных виртуальных мирах. Это открывает широкие возможности для применения подобных ИИ-агентов в тестировании игр, автоматизации тренировочных процессов и создании увлекательного интерактивного контента.

Ну что ж, теперь, пока мы, смертные, будем усердно фармить ресурсы, этот ИИ-агент будет наслаждаться всеми прелестями виртуального мира. Видимо, скоро наши игровые аккаунты будут жить своей жизнью, а мы будем просто наблюдателями.