IBM Granite 4.0: Новое поколение открытых языковых моделей
IBM представила семейство открытых языковых моделей Granite 4.0, предлагающее варианты с 3, 7, 9 и 32 миллиардами параметров. Модели распространяются под лицензией Apache 2.0 и поддерживают контекстное окно в 128 тысяч токенов.
В основе архитектуры Granite 4.0 лежит сочетание традиционных слоев внимания трансформера и инновационных слоев Mamba, что позволяет снизить потребление памяти и повысить скорость обработки длинных последовательностей без ущерба для качества.
Согласно индексу Artificial Analysis Intelligence Index, Granite 4.0 H Small (32B) показала результат 23 балла, превзойдя Granite 3.3 8B и Gemma 3 27B. Granite 4.0 Micro (3B) также продемонстрировала превосходство над Gemma 3 4B.
Granite 4.0 отличается высокой токенной эффективностью, требуя меньшего количества токенов для прохождения тестов по сравнению с другими открытыми моделями аналогичного размера, что снижает затраты на использование.
Благодаря длинному контексту и сниженным вычислительным требованиям, Granite 4.0 идеально подходит для задач извлечения знаний и RAG, а открытая лицензия позволяет адаптировать модели под конкретные нужды.
