Google представила Titans и MIRAS для ускорения ИИ
Google представили архитектуру Titans и фреймворк MIRAS, которые позволяют моделям ИИ работать гораздо быстрее и обрабатывать большие объемы данных за счет обновления основной памяти во время ее активной работы.
В двух новых статьях Google представила архитектуру и теоретическую схему, сочетающие скорость рекуррентных нейронных сетей (РНС) с точностью трансформеров. Titans - это конкретная архитектура, а MIRAS - теоретическая основа для обобщения этих подходов. Вместе они развивают концепцию запоминания во время тестирования - способности модели ИИ поддерживать долговременную память за счёт включения более мощных метрик-сюрпризов во время работы модели и без специального офлайн-обучения.
Эффективная система обучения требует отдельных, взаимосвязанных модулей памяти, отражающих разделение человеческого мозга на кратковременную и долговременную память. Titans представляет новый нейронный модуль долговременной памяти, который, в отличие от традиционных РНС, действует как глубокая нейронная сеть (многослойный персептрон). Этот модуль обеспечивает высокую выразительную способность, позволяя модели обобщать большие объёмы информации, не теряя контекста.
Titans активно обучается распознавать и сохранять важные взаимосвязи и концептуальные темы, связывающие токены во входных данных. Ключевым аспектом является «метрика неожиданности» - обнаружение большой разницы между текущим состоянием памяти и новыми данными.
Низкий уровень удивления: новое слово "кошка", а модель уже знает про животных. Градиент низкий, слово пропускается в долгосрочной памяти.
Высокая степень неожиданности: модель обрабатывает финансовый отчет, а получает изображение банановой кожуры. Градиент высокий, данные важны и сохраняются.
MIRAS видит различные архитектуры как методы решения одной и той же задачи: эффективное сочетание новой информации со старыми воспоминаниями, не допуская забвения основных концепций.
MIRAS определяет модель последовательности с помощью четырех ключевых вариантов проектирования: архитектура памяти, смещение внимания, механизм запоминания (забывание как регуляризация) и алгоритм памяти.
