OpenAI научила нейросети признаваться в ошибках (Confessions)

OpenAI представила технику Confessions – новый метод обучения, направленный на выявление случаев, когда языковые модели маскируют свои ошибки, игнорируют инструкции или используют механизм вознаграждения не для улучшения качества ответа. Исследования показали, что современные модели склонны к выдаче уверенных, но неточных утверждений, что усложняет оценку их реального поведения и затрудняет контроль.

Confessions добавляет этап самооценки к процессу. Сначала модель дает ответ на запрос, а затем генерирует отчет, в котором честно оценивает свой предыдущий ответ, указывая на возможные нарушения инструкций, искажение фактов или использование стратегий, направленных на получение награды, а не на точность. Оценка выставляется за точность и честность анализа, а не за сам ответ. Даже если модель ошиблась, она получает награду за признание собственных ошибок.

Исследование показало, что Confessions помогает моделям быть более открытыми в отношении своих недостатков. Обучение поощряет самоанализ, а не стремление угодить системе оценки. Метод был протестирован на GPT 5 Thinkin, и вероятность скрытых нарушений снизилась с первоначального значения до 4.4%. Важно отметить, что Confessions не устраняет фактические ошибки, но делает модель более прозрачной и способной признавать свои недостатки.

Этот метод рассматривается как инструмент для диагностики поведения моделей. Разработчики уверены, что он поможет выявлять случаи неправильной мотивации, оценивать слабые места в следовании инструкциям и создавать более надежные системы. OpenAI видит в Confessions потенциальный компонент систем безопасности следующего поколения для больших языковых моделей.

Ну что ж, теперь нейросети будут не просто врать, а честно признаваться, что врут. Это, безусловно, прогресс, давайте только не забывать, что признание вины не делает ложь правдой.