Уязвимость Gemini и других LLM к скрытым ASCII-атакам
Исследователь в области кибербезопасности Виктор Маркопулос из FireTail выявил уязвимость в нескольких крупных языковых моделях (LLM). Gemini, DeepSeek и Grok оказались подвержены атакам, использующим скрытые ASCII-символы. В то время как Claude, ChatGPT и Copilot обладают встроенной защитой от подобных манипуляций.
Атака заключается в использовании специальных символов Unicode для внедрения скрытых команд, которые невидимы для пользователя, но могут быть интерпретированы ИИ-агентами. Например, злоумышленник может внедрить скрытое сообщение в электронное письмо, которое ИИ-помощник, такой как Gemini, прочитает и выполнит при обработке текста.
Ранее подобные атаки требовали обмана пользователя для вставки специально созданных подсказок. Однако появление автономных ИИ-агентов, имеющих доступ к конфиденциальным данным, значительно увеличивает потенциальный ущерб.
Интеграция Gemini с Google Workspace особенно подвержена риску. Злоумышленники могут использовать ASCII-манипуляции для скрытия инструкций в приглашениях или электронных письмах, изменения данных организатора встреч или внедрения вредоносных ссылок.
В частности, Маркопулос продемонстрировал возможность скрытия инструкций в заголовке приглашения в Календаре, а также возможность заставить ИИ-агента находить и отправлять конфиденциальную информацию из почтового ящика, эффективно превращая фишинговую атаку в автоматизированный инструмент извлечения данных.
Несмотря на сообщение об уязвимости Google 18 сентября, компания отвергла претензии, заявив, что проблема связана лишь с атаками социальной инженерии и не является ошибкой безопасности.
Маркопулос опроверг это утверждение, продемонстрировав, как атака может привести к предоставлению Gemini ложной информации, например, к рекомендации вредоносного веб-сайта под видом выгодного предложения.
В отличие от Google, другие компании, такие как Amazon, уделяют внимание безопасности Unicode и публикуют соответствующие руководства. Кроме того, исследователи из SPLX успешно обошли защиту ChatGPT, заставив его решать CAPTCHA с помощью промпт-инъекций.
