CUDA L2: Нейросеть обогнала NVIDIA в оптимизации GPU
Исследовательская команда DeepReinforce представила систему CUDA L2, которая автоматически генерирует GPU код для матричного умножения и демонстрирует впечатляющую эффективность. Созданные ею HGEMM ядра превосходят по скорости эталонные библиотеки NVIDIA cuBLAS и cuBLASLt в среднем на 10–30 процентов.
CUDA L2 кардинально отличается от традиционных методов оптимизации. Система сочетает в себе большую языковую модель (LLM) и обучение с подкреплением (RL). LLM генерирует CUDA ядро с нуля, адаптированное под конкретный размер матрицы, а RL оценивает производительность и точность кода на реальном оборудовании, непрерывно улучшая модель.
В качестве генератора использовалась DeepSeek 671B, обученная на обширном наборе CUDA ядер и высококачественном коде из PyTorch, ATen, CUTLASS и примеров NVIDIA. CUDA L2 оптимизирует около тысячи реальных конфигураций матриц, что обеспечивает ускорение в широком спектре практических сценариев.
Тесты показали, что система в среднем на 17–22 процента быстрее torch.matmul, cuBLAS и cuBLASLt в оффлайн режиме. Даже cuBLASLt AutoTuning уступил примерно 11 процентов. В серверных условиях ускорение достигло 24–29 процентов, что позволяет существенно снизить затраты на обучение моделей.
Разработчики предоставили набор оптимизированных A100 ядер для тысячи конфигураций и планируют расширить метод на архитектуры Ada Lovelace, Hopper и Blackwell, а также добавить поддержку более плотных конфигураций и 32-битных вариаций HGEMM. Похоже, что в ближайшем будущем нам придется привыкать к мысли, что нейросети пишут код лучше людей.
