Adamas: Революционное ускорение внимания в LLM до 4.4×

Новая архитектура Adamas обеспечивает значительное ускорение механизма внимания – до 4.4 раза, при этом сохраняя высокое качество обработки даже очень длинных текстов (более 100 тысяч токенов).

В основе Adamas лежит идея отказа от полного сравнения каждого токена со всеми остальными. Вместо этого, система динамически отбирает 128 наиболее важных токенов для каждого запроса. Определение важности происходит с использованием преобразования Адамара, которое упрощает распределение значений и представляет их в виде 2-битных кодов, а затем оценивает сходство с помощью Manhattan-метрики.

Этот подход обеспечивает высокую скорость и точность вычислений. В отличие от многих других оптимизаций внимания (например, Reformer или FlashAttention), Adamas не требует дополнительного обучения модели и может быть легко интегрирован в существующие LLM, включая модели, подобные GPT и Mistral.

Тесты показали, что Adamas ускоряет обработку длинных последовательностей до 4.4 раза, а коротких – до 1.5 раза, при этом точность остается на уровне стандартного механизма self-attention. Это означает возможность обрабатывать те же самые данные в 4 раза быстрее.

Ну что ж, теперь нейросети будут думать еще быстрее, чтобы потом мы могли еще больше удивляться их гениальным, но часто бессмысленным ответам.