Moonshot AI: Новая архитектура KDA для эффективной работы с длинным контекстом
Команда Moonshot AI представила новую архитектуру KDA (Kimi Delta Attention), объединяющую Gated DeltaNet и MLA-компрессию. Это позволило создать эффективную модель для работы с длинным контекстом, сохранив высокое качество рассуждений и снизив вычислительные затраты.
KDA фокусируется на изменениях во внимании, а не на полном пересчете на каждом токене, что значительно повышает скорость и экономит память. Оптимальное распределение внимания (3:1 для KDA и 1:1 для MLA) обеспечивает стабильность и точность, сравнимую с крупными LLM, но при меньших ресурсах.
Kimi-Linear-48B, использующая KDA, требует на 75% меньше памяти для KV-кэша и ускоряет декодирование в 6,3 раза на длинных контекстах, при этом превосходя MLA и GDN-H в задачах рассуждения и генерации.
Модель демонстрирует способность эффективно работать с длинными зависимостями, сохраняя целостность рассуждений даже в экстремальных условиях. Это делает её подходящей для сложных диалогов, логических цепочек и задач обучения с подкреплением.
