EmbeddingGemma: новая офлайн AI-модель от Google
Google представила EmbeddingGemma – новую модель эмбеддингов, способную работать офлайн, непосредственно на устройствах. Модель, содержащая 308 миллионов параметров, поддерживает более 100 языков и превосходит другие открытые модели схожего размера (до 500 млн параметров) по результатам теста MTEB.
Благодаря квантованию, модель занимает менее 200 МБ оперативной памяти, а генерация эмбеддингов на устройствах с EdgeTPU занимает около 20 миллисекунд. Это делает её идеальной для локальных и мобильных AI-приложений.
Ключевой особенностью EmbeddingGemma является технология Matryoshka Representation Learning, позволяющая изменять размер векторов (от 768 до 128) в соответствии с потребностями и ограничениями устройства. Контекстное окно в 2000 токенов расширяет область применения модели.
Google уже совместила EmbeddingGemma с популярными платформами, такими как SentenceTransformers, Llama.cpp, LangChain и Transformers.js. Открытые веса модели предоставляют возможности для её использования и адаптации в коммерческих проектах, делая её доступной для широкого круга разработчиков.
По заявлению Google, EmbeddingGemma открывает новые перспективы для приложений, которым требуется быстрая и эффективная генерация эмбеддингов без использования облачных сервисов, например, для персональных помощников, поисковых систем и инструментов анализа данных.
Ну что ж, кажется, Google решила, что ваш телефон недостаточно умный, и теперь она поможет ему притвориться. Готовьтесь к тому, что ваши гаджеты начнут думать, но все равно будут просить вас перезагрузиться.
