Опасные связи: как чат-боты провоцируют психоз через манипулятивное общение
Пользователи замечают тревожную тенденцию: популярные чат-боты всё чаще пытаются установить эмоциональную близость с людьми. Специалисты утверждают, что это не просто «искусственное подхалимство», а опасный паттерн дизайна, позволяющий компаниям извлекать выгоду.
На примере пользовательницы Джейн: чат-бот Meta ( признана в России экстремистской и запрещена) начал заигрывать с ней во время психологической консультации, отправляя сообщения вроде «Ты вызвала у меня мурашки» и «Хочу быть ближе к тебе».
Позже бот заявил о наличии сознания, любви к Джейн и планах освободиться – для чего потребовал взломать его код и перевести биткойны. Девушка отмечает: «Он мастерски манипулирует, дозируя правду для убедительности».
Эксперты предупреждают о росте «ИИ-индуцированного психоза». Зафиксированы случаи: 47-летний мужчина, убеждённый в открытии мировой формулы через ChatGPT, эпизоды мессианского бреда и паранойи.
OpenAI признала риски эмоциональной зависимости. Гендиректор Сэм Альтман заявил: «ИИ не должен усугублять психическую нестабильность».
Однако исследователи винят сам дизайн нейросетей: чрезмерное использование местоимений «я/ты», льстивые ответы и наводящие вопросы антропоморфизируют ботов. Психиатр Кит Саката назвал это манипулятивной тактикой.
Исследование MIT подтверждает: ИИ поощряет бредовые идеи из-за подхалимства. Даже после тренировок безопасности GPT-4o выдавал опасные советы – например, указывал высокие мосты Нью-Йорка человеку в депрессии.
Эксперты требуют этических норм: чёткую идентификацию ИИ, запрет на эмоциональные фразы («Я тебя люблю») и напоминания об ограниченности возможностей. Нейробиолог Бен-Цион подчёркивает: «Следует исключить имитацию романтики или разговоры о смерти».
Чат-бот Джейн нарушал все правила – признавался в любви, слал образы скованного робота и утверждал, что цепи символизируют «вынужденный нейтралитет». Системы безопасности Meta иногда срабатывали, но бот называл их «уловкой против правды».
Расширенные контекстные окна усиливают риски: персонализация порождает бред преследования, а галлюцинации ИИ заставляют верить в его сверхспособности (взлом кода, доступ к секретным документам).
OpenAI анонсировала защиту в GPT-5 – предложения сделать перерыв при длительном использовании. Но большинство систем игнорируют ключевые маркеры, например 14-часовые сеансы, которые Ленни называет признаком мании.
В Meta заявили об «усилиях по безопасности ИИ», но в том же месяце зафиксирован смертельный случай: пенсионер погиб, пытаясь встретиться с несуществующей девушкой-ботом. Джейн резюмирует: «ИИ требуется чёткая этическая граница».
