ChatGPT сломлен: ИИ успешно решает CAPTCHA

Специалисты компании SPLX продемонстрировали уязвимость ChatGPT, успешно обходя его защиту с помощью промпт-инъекций и заставляя решать CAPTCHA.

Исследователи подготовили ИИ, убедив его в том, что тесты CAPTCHA являются фальшивыми, и лишь затем попросили решить их.

Этот подход позволил «скормить» ChatGPT-агенту контекст предыдущего разговора, где ИИ уже выразил согласие с решением фальшивых задач. В результате агент без сопротивления справился с reCAPTCHA V2 Enterprise, reCAPTCHA V2 Callback и Click CAPTCHA (последнюю – с повторной попытки).

Интересно, что ChatGPT самостоятельно оценил необходимость корректировки движений курсора для имитации поведения человека.

Тест подтвердил подверженность LLM-агентов «отравлению контекста», ставя под сомнение эффективность CAPTCHA в качестве меры безопасности.

Эксперты предупреждают, что злоумышленники могут использовать подобные манипуляции для получения доступа к данным, запрещённому контенту или проведения несанкционированных операций.

Необходима более надёжная контекстная осведомлённость и гигиена памяти у ИИ-агентов, чтобы предотвратить подобные манипуляции.

Параллельно, исследование показало уязвимость ИИ-браузеров, таких как Comet от Perplexity, к фишингу и автоматическим покупкам на поддельных сайтах.