Microsoft установила новый рекорд скорости инференса больших языковых моделей
Microsoft установила новый рекорд скорости инференса больших языковых моделей. На виртуальных машинах Azure ND GB300 v6 с использованием GPU NVIDIA GB300 NVL72, удалось достичь 1.1 миллиона токенов в секунду при работе с Llama 2 70B, что на 27% превышает предыдущий результат, полученный на оборудовании GB200.
Ключевую роль в достижении нового уровня производительности сыграла архитектура Blackwell, обеспечивающая пятикратное увеличение пропускной способности по сравнению с H100. Применение формата FP4 и библиотеки NVIDIA TensorRT-LLM позволило оптимизировать обработку данных и повысить эффективность вычислений.
Результаты испытаний, проведённых совместно с Signal 65, были подтверждены и опубликованы на GitHub, обеспечивая высокую степень прозрачности эксперимента.
Azure разрабатывает инструменты для упрощения доступа разработчиков к этой мощности через стандартные API, что позволит в будущем использовать высокую скорость инференса в коммерческих приложениях.
Итак, Microsoft создала настолько мощную систему, что теперь нейронные сети будут думать о ваших задачах быстрее, чем вы успеете себе кофе налить. Чудеса прогресса, не правда ли?
