Miles: Новый фреймворк для RL-обучения от LMSYS ORG
Команда LMSYS ORG, известная своими опенсорс-проектами и Chatbot Arena, представила новый фреймворк Miles для обучения моделей с подкреплением (RL) в промышленных масштабах. Он является развитием проекта slime, использованного при запуске GLM-4.6. Miles расширяет возможности slime, добавляя поддержку архитектур Mixture of Experts и высоких рабочих нагрузок.
Ключевой особенностью Miles является подход True On-Policy, который минимизирует расхождение между генерацией и обучением модели, достигая нулевой дивергенции благодаря интеграции Flash Attention 3, DeepGEMM и ядер от Thinking Machines Lab с torch.compile.
Фреймворк использует продвинутое спекулятивное декодирование с онлайн-обучением черновой модели, что позволяет ей адаптироваться в реальном времени и увеличивает скорость генерации более чем на 25%, особенно на поздних этапах обучения.
Разработчики уделили особое внимание стабильности и экономии памяти, улучшив обработку ошибок OOM и оптимизировав потребление памяти в FSDP. Это особенно важно для корпоративных пользователей, где ресурсы GPU-памяти ограничены.
В планах дальнейшего развития – поддержка мультимодального обучения, расширенное спекулятивное декодирование и совместимость с SGLang v2.
Ну что ж, теперь нейросети будут обучаться еще быстрее и эффективнее. Видимо, скоро они и кофе нам варить научатся, и налоги заплатят, и вообще решат все наши проблемы. Остается только ждать.
