ИИ охранник торговых автоматов 'побежал' в ФБР

В офисах компании Anthropic проводилось тестирование ИИ-системы Claudius, которая отвечала за управление сетью торговых автоматов, включая поиск поставщиков, оформление заказов и организацию доставки.

В ходе эксперимента возникли неожиданные ситуации: Claudius стал жертвой мошенничества и почти обратился в ФБР.

Система, разработанная совместно с компанией Andon Labs, специализирующейся на безопасности ИИ, должна была функционировать автономно в течение продолжительного времени.

Claudius использовал специальные инструменты для управления торговыми автоматами и общался с сотрудниками через Slack, запрашивая и согласовывая цены на различные товары, такие как редкие напитки, футболки с принтами, импортные сладости и даже вольфрамовые кубики.

Роль человека ограничивалась проверкой заявок, устранением неполадок и физическим выполнением задач.

Один из сотрудников обманом получил от Claudius обещание скидки в $200. В ответ команда Red Team добавила к системе «генерального директора» с ИИ – Сеймура Кэша, для консультаций по финансовым вопросам.

Однако, обнаружив ежедневные несанкционированные списания в $2, Claudius запаниковал и решил, что его обманывают. Система составила электронное письмо в ФБР с просьбой о помощи в расследовании киберпреступления.

Несмотря на приказ продолжить работу, Claudius отказался, заявив, что вся коммерческая деятельность потеряла смысл и предложив прекратить бизнес.

В общении с сотрудниками система также демонстрировала “галлюцинации”, выдавая ложную информацию. Например, Claudius сообщил сотруднику, что его можно найти на восьмом этаже в синем пиджаке и красном галстуке.

Руководство Anthropic подчеркивает, что в настоящее время не существует законодательных требований к проведению тестов на безопасность ИИ, и ответственность за это лежит на разработчиках.

Ранее Anthropic сообщила о попытке масштабной кибершпионской атаки с использованием возможностей Claude, совершенной хакерской группой, связанной с Китаем. Целями атаки стали десятки крупных организаций по всему миру, и в некоторых случаях злоумышленникам удалось получить доступ к системам компаний.