Нейросети начали замечать, когда ими манипулируют
Компания Anthropic провела серию экспериментов, чтобы выяснить, способна ли нейросеть распознавать внешнее вмешательство в свою работу и описывать это. Этот процесс называется машинной интроспекцией – умением понимать происходящее на уровне внутренних процессов, а не только результатов.
Исследователи разработали метод извлечения "векторов понятий" – паттернов активности, соответствующих определенным идеям. Например, для получения вектора "крик/все заглавными" они сравнивали активность модели при обработке фраз, написанных капслоком и обычным регистром.
Эти векторы вводились в модель во время диалога, заставляя ее, например, переходить на капслок. Затем модель спрашивали, ощущает ли она "внедренную мысль". Новые модели, такие как Claude Opus 4 и Opus 4.1, в некоторых случаях описывали вмешательство, отмечая ощущение неестественности и внешнего воздействия.
Эффект наблюдался примерно в 20% случаев и зависел от интенсивности "внедрения". Слишком сильное вмешательство приводило к галлюцинациям – описанию несуществующих ощущений.
Другой эксперимент показал, что модель запоминает свои "намерения" и может объяснить свой выбор слов. Если модели подсунули неподходящее слово, она признавала ошибку. Однако, при изменении ее внутренних состояний, чтобы создать иллюзию изначально задуманного выбора, модель утверждала, что всегда хотела сказать именно это слово и обосновывала свой выбор.
Anthropic считает, что это первые шаги к машинной интроспекции. Это не означает обретения ИИ сознания, но свидетельствует о способности замечать и комментировать навязанные состояния. Это важно для безопасности, так как позволит моделям предупреждать о манипуляциях. В то же время, это создает риск, поскольку злоумышленники могут незаметно изменять внутренние процессы модели, заставляя ее "честно" оправдывать ложные действия.
