ИИ-аудитор для безопасности LLM: новый инструмент от Anthropic
Исследователи из Anthropic, программы MATS и лаборатории Thinking Machines разработали систему "аудитор дообучения" – ИИ-агента для оценки безопасности языковых моделей после их тонкой настройки. Агент анализирует исходную модель, её дообученную версию и использованный датасет, выставляя оценку риска по шкале от 0 до 10.
Аудитор – это большая языковая модель, оснащённая инструментами для анализа данных, сравнения ответов моделей, проведения вредоносных тестов и использования Python для анализа кодов. В исследованиях использовалась Claude Sonnet 4 от Anthropic.
Тестирование проводилось на восьми типах атак и пяти безопасных примерах дообучения, включая скрытое вредоносное дообучение через шифры, внедрение триггеров и "эмёрджентное расхождение" модели. В качестве контроля использовались наборы данных Alpaca и HelpSteer.
В лучшей конфигурации аудитор обнаружил 56,2% вредоносных дообучений с 1% ложных срабатываний. Агент самостоятельно распознавал зашифрованные инструкции, которые не обнаруживаются стандартными системами модерации. Версия "суперагента" обеспечила 49,4% успешных детекций без ложных срабатываний.
Разработчики и провайдеры LLM-платформ нуждаются в таких системах, чтобы выявлять скрытые угрозы в моделях, дообученных злоумышленниками. Новый аудитор позволяет обнаружить эти угрозы до запуска модели.
Несмотря на точность, далёкую от идеала (около 50% успешных распознаваний), авторы предлагают улучшить аудитор, расширив его доступ к внутренним компонентам моделей, оптимизировав память и вычислительные затраты. Один аудит стоит примерно 1 доллар.
Код проекта доступен на GitHub: github.com/safety-research/finetuning-auditor. Исследователи ожидают, что такие ИИ-аудиторы станут стандартом для платформ с возможностью дообучения моделей.
