LeJEPA: Новый подход к самообучению от Яна Лекуна
Ян Лекун представил LeJEPA – новый, простой и эффективный подход к самообучению, отказавшись от сложных традиционных методов. Ранее для предотвращения коллапса признаков использовались stop-gradient, сети «учитель-студент» и другие эвристики. LeJEPA заменяет их одним регуляризатором – SIGReg (Sketched Isotropic Gaussian Regularization).
SIGReg обеспечивает равномерное распределение векторов признаков в пространстве, формируя изотропное сферическое облако. Лекун доказал, что такая структура математически оптимальна для минимизации ошибок и обеспечивает стабильность обучения с предсказуемыми результатами.
LeJEPA упрощает масштабирование и оценку качества моделей. Модель с 1.8 млрд параметров достигла 79% точности на ImageNet-1K, демонстрируя конкурентоспособные результаты без сложных эвристик.
Подход LeJEPA открывает возможности для более стабильного и универсального самообучения, сокращая время и ресурсы на настройку моделей. Код доступен на GitHub, что делает метод привлекательным для академических и индустриальных команд.
Ну что ж, теперь все будут говорить о LeJEPA, пока не появится что-то еще более революционное. А пока – наслаждаемся очередным прорывом, который, возможно, изменит мир (или нет).
