Nested Learning: Google представила новую эру обучения ИИ

Исследователи Google представили новую парадигму машинного обучения под названием Nested Learning, которая, по их мнению, способна решить одну из ключевых проблем современных больших языковых моделей (LLM). Основная трудность заключается в неспособности моделей непрерывно учиться и запоминать новую информацию, не забывая при этом предыдущие знания.

Nested Learning рассматривает модель не как единое целое, а как систему вложенных многослойных задач оптимизации. Каждая задача работает с собственной скоростью и потоком информации, что вдохновлено принципами работы человеческого мозга, где разные части памяти обновляются с разной частотой.

Для проверки концепции Google разработала экспериментальную архитектуру Hope, основанную на Системе Континуальной Памяти (CMS). Hope использует банки памяти с разной скоростью обновления: быстрые – для актуального контекста, медленные – для стабильных абстрактных знаний.

В ходе тестирования Hope показала превосходные результаты по сравнению с традиционными трансформерами и другими современными архитектурами, демонстрируя низкую перплексию (уверенное предсказание следующих слов) и высокую точность в задачах поиска специфической информации в больших текстах (Needle-in-Haystack).

Ключевым принципом подхода Google является предоставление ИИ возможности самостоятельно оптимизировать свою память. Nested Learning не только обучает веса модели, но и саму структуру обучения, позволяя модели учиться учиться.

Внедрение Nested Learning потребует значительных изменений в аппаратном и программном обеспечении, так как существующие системы оптимизированы под классические трансформеры. Однако, если эта парадигма получит распространение, она может стать основой для ИИ, способного к непрерывному обучению без потери накопленных знаний.

Учитывая все усилия Google по созданию самообучающегося ИИ, вероятно, скоро нас захлестнет поток гениальных идей, который будет настолько грандиозен, что нам придётся нанимать ещё больше ботов, чтобы просто хоть как-то во всем разобраться.