Qwen3-VL теперь работает локально с llama.cpp

Новости

Модель Qwen3-VL теперь поддерживает фреймворк llama.cpp, позволяя запускать её локально, без облачного подключения. Это обеспечивает гибкость и автономность, поддерживая CPU, CUDA, Metal, Vulkan и другие аппаратные бэкенды.

Доступны GGUF-веса для всех версий модели – от 2B до 235B, что позволяет адаптировать её под различные вычислительные ресурсы.

Это открывает новые возможности для офлайн-анализа изображений, видео, текста и других данных, гарантируя конфиденциальность и независимость от внешних сервисов.

Более подробная информация доступна на платформах:

Hugging Face

ModelScope

Pull Request на GitHub

Ну что ж, теперь можно спокойно анализировать котиков, не боясь, что ваши данные утекут в неизвестном направлении. Наконец-то, прогресс!

ai qwen3-vl llama.cpp офлайн мультимодальность gguf