DeepSeek V3.2: Новый вызов лидерам ИИ
Себастьян Рашка, автор известных работ в области машинного обучения на Python, представил подробный технический анализ новой модели DeepSeek V3.2. Выпущенная 1 декабря, модель демонстрирует производительность, сопоставимую с GPT-5 и Gemini 3.0 Pro, достигнув 96% на математическом бенчмарке AIME 2025. Важным преимуществом DeepSeek V3.2 является открытый доступ к весам модели.
Разработка DeepSeek активно продолжается после выпуска R1 в январе, с последующими версиями V3.1, V3.2-Exp и специализированной DeepSeekMath V2. Рашка подчеркивает, что V3.2-Exp была создана для оптимизации инфраструктуры под новую архитектуру, а команда вернулась к использованию чипов NVIDIA после тестирования оборудования Huawei.
В основе архитектуры лежат Mixture-of-Experts (MoE) и Multi-Head Latent Attention (MLA). Ключевым нововведением стала технология DeepSeek Sparse Attention (DSA), которая позволяет модели фокусироваться только на наиболее релевантных токенах, значительно снижая вычислительную сложность по сравнению со стандартным attention.
DeepSeek использовала гибридный подход к обучению: символьный верификатор для математических и кодовых задач и LLM-as-a-judge для оценки качества ответов в общих задачах. Также была применена техника self-verification, заимствованная из DeepSeekMath V2, которая проверяет не только конечный результат, но и ход рассуждений.
Доступна версия Speciale с расширенными возможностями логического вывода, обеспечивающая еще более высокие результаты на тестах.
