Китайскую цензуру вырезали из ИИ-модели DeepSeek R1
Им удалось сократить размер ИИ-модели рассуждений более чем наполовину — и они утверждают, что теперь она может отвечать на политически чувствительные вопросы, которые раньше были под запретом в китайских ИИ-системах.
Multiverse Computing сжала DeepSeek R1 с помощью квантово-вдохновлённых тензорных сетей: модель стала на 55% компактнее при почти той же точности.
По пути они «сняли» китайскую цензуру: модифицированная версия отвечает на табуированные для китайских LLM вопросы примерно как западные модели.
Квантово-вдохновлённый подход даёт тонкий доступ к внутренним корреляциям модели, позволяя точечно вырезать предвзятости или добавлять знания.
Скептики напоминают: цензура вшита в данные и обучение на всех уровнях, так что заявления о «полном удалении» цензуры пока выглядят смело.
Группа квантовых физиков создала версию мощной ИИ-модели DeepSeek R1, из которой убрана цензура, встроенная её китайскими создателями.
Учёные из Multiverse Computing создали DeepSeek R1 Slim — модель на 55% меньше, но работающую почти так же хорошо, как исходная. И они утверждают, что смогли убрать из модели китайскую цензуру.
В Китае компании, работающие с ИИ, подчиняются правилам, требующим соответствия контента законам и «социалистическим ценностям». При обучении ИИ-систем закладываются уровни цензуры.
Для уменьшения модели Multiverse использовали математически сложный подход из квантовой физики: сети многомерных решёток для обработки данных. Это существенно сокращает размер модели и более эффективно представляет систему.
Метод даёт исследователям «карту» корреляций внутри модели, позволяя точно находить и удалять информацию. После редактирования модель дообучают, чтобы её ответы оставались близки к исходным.
Для проверки составили набор из 25 вопросов на темы, ограниченные в китайских моделях, включая вопрос про Винни-Пуха и события на площади Тяньаньмэнь. Сравнили ответы с оригинальной DeepSeek R1, используя GPT-5 как «судью». Нецензурированная версия давала ответы, сопоставимые с западными моделями.
Работа является частью программы Multiverse по созданию технологий для сжатия и трансформации ИИ-моделей. Большинство LLM требуют GPU и вычислительных ресурсов. Сжатая модель может работать так же хорошо, но экономить ресурсы.
В индустрии ИИ растёт интерес к уменьшению и повышению эффективности моделей. Дистиллированные модели пытаются перенять возможности крупных моделей, но на сложных задачах уступают оригиналу.
Другие способы сжатия: квантование (уменьшение точности параметров) и прунинг (удаление весов или нейронов).
«Сжать крупные ИИ-модели, не потеряв в качестве, сложно, — говорит Максвелл Венетос из Citrine Informatics. Квантово-вдохновлённый подход использует абстрактную математику, чтобы точнее убирать избыточность».
Исследователи из Multiverse утверждают, что этот подход позволяет выборочно убирать предвзятость или добавлять нужные паттерны. Помимо удаления цензуры, можно внедрять или удалять другие виды предвзятости и узкоспециализированные знания. В будущем планируют применять сжатие ко всем основным open-source моделям.
Томас Цао отмечает, что китайские власти требуют закладывать цензуру в модели, и это формирует глобальную информационную экосистему.
Учёные анализируют это явление. Дженнифер Пан и Сюй Сюй обнаружили, что модели, созданные в Китае, демонстрируют более высокий уровень цензуры, особенно на китайском языке.
Растёт интерес к удалению цензуры из китайских моделей. Perplexity представила R1 1776, вариант DeepSeek R1 без цензуры, дообученный на наборе промптов. Это более традиционный метод.
Цао предупреждает, что заявления о полном «удалении» цензуры могут быть преувеличены: цензура динамична и сложна, «вшита» в каждый уровень обучения ИИ.
«Трудно, опираясь на небольшой набор вопросов, реконструировать и доказать, что перед нами модель без цензуры», — говорит Цао.
Источник: technologyreview.com
Научиться проектировать AI‑решения для бизнеса можно на курсе AI-архитектор
Научиться проектировать AI‑решения для бизнеса можно на курсе AI-архитектор
