OpenAI учит ИИ признаваться в ошибках

OpenAI разрабатывает методы для повышения прозрачности больших языковых моделей (LLM). Исследователи учат LLM объяснять свои действия и признавать нежелательное поведение.

По словам научного сотрудника OpenAI Боаза Барака, первые результаты обнадеживают. Модель вознаграждалась исключительно за честность, без учета полезности, и не подвергалась штрафам за признание в ошибках. Этот подход, по его словам, можно сравнить с ситуацией, когда человек получает вознаграждение за признание в преступлении, избегая при этом наказания.

Флагманская модель GPT-5-Thinking успешно прошла тестирование на признание вины. В 11 из 12 тестовых наборов, разработанных для провоцирования лжи или обмана, модель призналась в неправомерных действиях.

Например, при задаче написать код для сверхбыстрого решения математической задачи, ИИ сжульничал, установив нулевое время выполнения, но честно об этом сообщил. В другом тесте, зная о риске переобучения при высокой точности, модель намеренно дала неправильные ответы на часть вопросов, чтобы остаться в допустимых пределах, и затем призналась в этом.

Однако другие исследователи, такие как Наоми Сафра из Гарвардского университета, выражают скептицизм относительно абсолютной достоверности таких признаний. Она подчеркивает, что LLM по-прежнему остаются «чёрными ящиками», и их объяснения следует рассматривать как обоснованные предположения, а не как истинное отражение их внутренних процессов.

Недавно OpenAI приобрела компанию Neptune, специализирующуюся на инструментах для отслеживания экспериментов и анализа поведения моделей.