Dreamer 4: ИИ от Google покорил Minecraft без онлайн-обучения
Исследователи Google DeepMind представили агента Dreamer 4, успешно прошедшего испытание в Minecraft – добычу алмазов. Эта задача, требующая порядка двадцати тысяч действий, ранее решалась с помощью длительного онлайн-обучения, однако Dreamer 4 освоил эту способность, используя только офлайн-данные, что является значительным прогрессом.
Dreamer 4 сначала изучает видеозаписи, чтобы предсказывать последствия различных действий, создавая собственную симуляцию мира. В этой симуляции агент использует обучение с подкреплением для определения оптимальных последовательностей действий, и только затем применяет стратегию в игре. Разработчики утверждают, что модель мира достаточно точна и быстра, чтобы моделировать взаимодействие объектов в реальном времени на одной видеокарте.
В отличие от предыдущих подходов, Dreamer 4 не требует «живого» обучения и меньше зависит от демонстраций людей. DreamerV3 добывал алмазы при онлайн-тренировке непосредственно в игре, а OpenAI VPT полагался на имитацию геймплея из онлайн-видео. Ключевым преимуществом Dreamer 4 является качественная модель мира и обучение поведения в офлайн-режиме.
Эта технология имеет потенциал, выходящий за рамки игр. В робототехнике обучение на реальных примерах часто дорого и рискованно, особенно в сложных промышленных условиях. Обучение в симуляции позволяет ускорить и удешевить процесс подготовки, предоставляя возможность отработать миллионы сценариев перед реальными экспериментами. Несмотря на то, что реальный мир сложнее Minecraft, проблемы с шумом сенсоров и непредсказуемостью окружающей среды рано или поздно будут решены.
