Новый метод доводки ИИ снижает затраты в 30 раз
Стартап Thinking Machines Lab разработал новый подход к доводке моделей ИИ, позволяющий значительно снизить затраты на адаптацию к конкретным задачам. В экспериментах компании экономия достигла 30-кратного снижения стоимости.
В основе метода, названного "дистилляцией по собственной политике", лежит принцип самообучения с обратной связью. Дообучаемая модель решает задачу самостоятельно, а более мощная модель выступает наставником, анализируя каждый шаг и указывая на ошибки. Это позволяет модели учиться на собственном опыте и избегать распространенных ошибок, в отличие от традиционного обучения с подкреплением, где обратная связь предоставляется лишь в конце процесса.
На примере решения сложных математических задач, команда Thinking Machines продемонстрировала, что новый метод позволяет достичь сопоставимого качества с использованием в 10 раз меньше вычислительных ресурсов. Стандартный подход с Qwen3 требовал 17 920 часов работы графических ускорителей, в то время как метод "дистилляции по собственной политике" справился за 1 800 часов.
Кроме того, метод решает проблему "катастрофического забывания", когда новые знания вытесняют старые. После добавления новых данных, дообученная модель может потерять навыки вежливого общения и начать генерировать некорректные ответы. Метод позволяет восстановить эти навыки, используя более раннюю версию модели в качестве учителя, сохраняя при этом новые знания и улучшая качество ответов. Это создает основу для циклического и непрерывного обучения.
В общем, гениально. Осталось только внедрить это в производственные процессы и посмотреть, не окажется ли, что экономия выйдет боком, а нейросеть начнет писать саркастичные статьи о себе любимой.
