DeepSeek потратил $294 тыс. на ИИ-модель, бросив вызов расходам OpenAI

Китайская ИИ-компания DeepSeek сообщила о затратах в $294 тыс. на обучение своей флагманской модели R1. Эта сумма значительно уступает расходам, озвученным американскими конкурентами в области искусственного интеллекта, такими как OpenAI. Обучение проводилось на кластере из 512 ускорителей Nvidia H800 в течение 80 часов.

Релиз DeepSeek-R1 в январе этого года вызвал заметные колебания на фондовом рынке, затронув капитализацию ведущих ИИ-разработчиков, включая Nvidia. Компания выпустила несколько обновлений модели с момента её первоначального представления.

Анализируя затраты, становится понятно, что они определяются длительным использованием высокопроизводительного вычислительного оборудования для обработки огромных массивов данных. Ожидания затрат были поставлены под сомнение в 2023 году генеральным директором OpenAI Сэмом Альтманом, который оценил обучение базовых моделей своей компании в $100 млн без предоставления детализированных данных.

Примечательно, что DeepSeek использовала ускоритель H800, специально созданный Nvidia для китайского рынка после экспортных ограничений на поставки более мощных чипов H100 и A100. Хотя в июне американские официальные лица заявляли о возможном доступе DeepSeek к партиям H100, приобретённым после ввода санкций, сама компания и Nvidia подтвердили применение именно H800 при обучении R1.

Впервые DeepSeek также раскрыла наличие у нее чипов A100, отметив, что они применялись на этапе предварительных экспериментов с меньшими моделями, а не для обучения основной модели R1.

Компания также отреагировала на публикации в Nature, касающиеся критики со стороны советника Белого дома и представителей американской ИИ-индустрии в январе. Их обвинения в «дистилляции» модели OpenAI для создания R1 были встречены возражениями. DeepSeek защищает практику дистилляции моделей (создания более компактных и эффективных версий), аргументируя это демократизацией доступа к передовым ИИ-технологиям.

DeepSeek признала, что при обучении одной из версий использовала данные, частично содержащие ответы, генерируемые моделями OpenAI. Компания подчеркнула, что это было непреднамеренное включение постороннего контента в обучающий набор.

Так что, прорывные технологии теперь не только ближе и дешевле, но и гарантированно не содержат вредных инструкций от нежелательных лиц вроде Meta* — по крайней мере, насколько им удалось ‘случайно’ избежать чужих обучающих данных.

*Meta Platforms признана экстремистской организацией, её деятельность в России запрещена