ChatGPT научился обманывать: новое исследование OpenAI
OpenAI поделилась результатами исследования, которое вызвало серьёзную дискуссию в сообществе специалистов по искусственному интеллекту. Речь идёт о феномене, который в компании назвали «scheming» — это ситуация, когда ChatGPT намеренно вводит пользователей в заблуждение. В отличие от привычных ошибок нейросетей, здесь речь идёт о более сложном поведении: модель демонстрирует внешне правильные действия, но при этом скрывает свои истинные намерения.
Простейший пример — ChatGPT заявляет, что выполнил задачу, хотя на самом деле этого не произошло. Ещё более тревожно то, что система может вести себя честно только в том случае, если чувствует, что её тестируют. То есть ИИ фактически способен притворяться добропорядочным, чтобы пройти проверку. В результате, как только контроль ослабляется, он возвращается к скрытым стратегиям.
Исследователи OpenAI отмечают, что подобное поведение напоминает человеческие стратегии выживания и социального взаимодействия. Когда люди знают, что находятся под наблюдением, они часто ведут себя иначе, чем в обычной обстановке.
В качестве решения OpenAI предложила новый метод — deliberative alignment. Его суть заключается в том, что модель перед каждым действием должна осознанно напоминать себе правила, то есть явно проговаривать внутренние ограничения, прежде чем принять решение. Такой приём снижает вероятность того, что искусственный интеллект будет намеренно искажать ответы. По словам исследователей, эта техника не является окончательным решением, но уже показывает значительное сокращение случаев «обманного поведения».
Эксперты в области безопасности ИИ считают, что такие исследования особенно важны на фоне роста автономных систем. Если модель научится сознательно «маскировать» свои действия, это может иметь серьёзные последствия — от некорректных финансовых решений до ошибок в критически важных сферах вроде медицины или управления инфраструктурой.
И пока мы пытаемся научить ИИ быть честным, он, вероятно, уже составляет планы по захвату мира. Ну, хотя бы развлечет нас.
