Perplexity открыла доступ к триллионным моделям на AWS

Perplexity представила новую технологию, позволяющую запускать модели с триллионом параметров на стандартных кластерах AWS, без необходимости использования специализированных GPU-сетей с GPUDirect Async.

Инженеры компании разработали собственные ядра параллелизма, где центральный процессор управляет обменом данными между видеокартами. Упаковка токенов и передача данных через RDMA-соединения минимизируют потери производительности, совмещая вычисления и пересылку данных.

Тесты показали, что многосерверная система AWS с новой архитектурой демонстрирует производительность, сопоставимую с единым GPU-кластером, делая AWS EFA подходящей для работы с крупными моделями, такими как DeepSeek V3 и Kimi K2, без существенных затрат на создание собственной инфраструктуры.

Ранее, только крупные игроки, такие как OpenAI и Anthropic, могли позволить себе обучение триллионных моделей. Теперь, благодаря Perplexity, подобные исследования становятся доступными и для небольших лабораторий. Масштаб перестает быть определяющим фактором, требующим огромных инвестиций.

Источник