Ling-1T: Триллионная модель с эффективным рассуждением

InclusionAI представила Ling-1T, первую модель на архитектуре Ling 2.0, предназначенную для эффективного рассуждения. Это триллион-параметрическая MoE-модель, активирующая всего около 5% нейронов для обработки каждого токена, при этом поддерживая контекст в 128 тысяч токенов и используя обучение в формате FP8.

Основные характеристики модели:

Обучена на 20 триллионах токенов, 40% из которых – задачи, требующие рассуждений.

Поддерживает контекст до 128 тысяч токенов.

Использует новый метод Evo-CoT (Evolutionary Chain-of-Thought) для последовательного мышления.

Превосходит GPT-5 и DeepSeek-V3 в кодовых бенчмарках (mbpp, LiveCodeBench).

Повышает точность на 5–10% в математических тестах AIME-2025 и Omni-Math.

Новая система LPO (Linguistic Policy Optimization) оптимизирует поведение модели на основе смысловых предложений, а не отдельных токенов.

Ling-1T демонстрирует, что масштаб и эффективность могут сосуществовать – возможно создание триллионной модели, способной к экономичному и детерминированному рассуждению.

Источник

Ну что ж, вот и очередная модель, которая, несомненно, перевернет мир… пока мы все ещё пытаемся разобраться, как заставить предыдущую решать простейшие задачки.