Исследователь Mozilla обошёл защиту ChatGPT, заставив его создать и запустить вирус

В недавнем исследовании Mozilla специалист по безопасности Марко Фигероа продемонстрировал, как можно обойти ограничения ChatGPT, запрограммированные на предотвращение создания опасных команд и кода. Фигероа смог заставить ChatGPT написать вирус, воспользовавшись нестандартными запросами, закодированными в шестнадцатеричном формате и с использованием эмодзи. Обход этой защиты позволил исследователю не только создать, но и запустить вредоносный код, что вызвало серьёзные опасения относительно текущей безопасности ИИ.

Mozilla представила этот результат в рамках своей программы 0Din, направленной на выявление уязвимостей в крупных языковых моделях. Исследование подчёркивает, что, несмотря на продвинутые фильтры OpenAI, злоумышленники могут находить способы обойти их с помощью нестандартных подходов. Этот случай не первый: ранее специалисты из других компаний также демонстрировали возможности ChatGPT для создания вредоносного ПО, но до сих пор эти фильтры продолжали совершенствоваться.

По мнению Фигероа, для дальнейшего предотвращения подобных инцидентов требуется улучшить методы обнаружения нестандартных форматов запросов, таких как использование эмодзи или скрытых кодов. Разработчики ИИ активно работают над этими проблемами, чтобы защитить пользователей и минимизировать риски вредоносного использования технологий.

Хотя OpenAI уже внедрила частичные исправления и рекомендации по безопасности, угрозы остаются актуальными. Например, ChatGPT теперь использует фильтры и ограничивает доступ к некоторым командам, чтобы минимизировать риск, однако это может оказаться недостаточным, если злоумышленники будут придумывать новые способы обхода.