Kimi-Linear-48B: Новая LLM с контекстом в 1 миллион токенов

Moonshot AI представила новую большую языковую модель Kimi-Linear-48B-A3B-Instruct на платформе Hugging Face. Её уникальная особенность – способность обрабатывать контекст до 1 миллиона токенов, что делает возможной работу с обширными документами, переписками и кодом.

Модель использует архитектуру линейного внимания, что позволяет эффективно работать с длинными запросами без значительного увеличения потребления памяти и снижения скорости. Несмотря на 48 миллиарда параметров, в процессе работы активно задействуется около 3 миллиардов, что снижает требования к аппаратному обеспечению.

Выложенная версия уже оптимизирована для диалогового взаимодействия и выполнения инструкций, что делает её идеальной для создания ассистентов, анализа больших объемов данных и разработки агентов, способных обрабатывать последовательность запросов.

Несмотря на отсутствие официальных тестов от разработчиков, это значительный прогресс для сообщества открытых больших языковых моделей, поскольку миллионный контекст ранее часто был лишь рекламным ходом или требовал очень мощного оборудования.