VLA Arena: Открытая платформа для тестирования роботов
Институт AIRI открыл тестовый доступ к VLA Arena – открытой платформе для оценки и сравнения моделей управления роботами. По аналогии с площадками для LLM, VLA Arena делает тестирование доступным для исследователей, инженеров и любителей робототехники.
Платформа позволяет запускать роботов в виртуальной среде и подключать реальные устройства. Пользователи могут оценивать модели в различных сценариях, включая поддержку русского языка. VLA Arena работает с передовыми достижениями в области искусственного интеллекта и робототехники, в частности, с моделями Vision Language Action (VLA).
Платформа поддерживает компактные манипуляторы LeRobot SO-100 и SO-101 от HuggingFace, доступные для самостоятельной сборки или в готовом виде по цене от 30 тысяч рублей.
VLA Arena предоставляет возможность тестирования моделей как в симуляции, так и на реальном роботе. Результаты оцениваются пользователями на основе случайных тестов, что обеспечивает объективность и исключает предвзятость.
На данный момент на платформе доступны 3 модели для реальных роботов и 4 для симуляций, включая π0.5 от Physical Intelligence, SmolVLA от Hugging Face, Flower и модель от AIRI для работы на русском языке. Также представлены размеченные и переведенные на русский язык датасеты для LeRobot.
VLA-модели представляют собой адаптацию больших языковых моделей для управления роботами, способные понимать и выполнять инструкции пользователя в сложных сценариях. Все модели имеют открытый исходный код, что позволяет их кастомизацию.
Руководитель научной группы «Адаптивные агенты» Института AIRI Владислав Куренков подчеркивает, что VLA Arena – это не только инструмент для тестирования, но и научный проект, направленный на повышение прозрачности оценки роботов и моделей управления. Платформа ориентирована на доступность и объективные метрики, учитывающие как технические характеристики, так и пользовательскую эффективность. Тестовый период продлится 3 месяца, в течение которых будет собираться обратная связь для улучшения платформы.
