ИИ "галлюцинирует" источники: библиотеки и МККК в смятении
Библиотека штата Вирджиния зафиксировала рост запросов на несуществующие источники, сгенерированные ChatGPT. Около 15% обращений в архив связаны с поиском книг, журналов и документов, которых никогда не было. Эта тенденция усилилась после выпуска GPT-3.5 в конце 2022 года.
По словам Сары Фоллз, главы отдела по работе с исследователями Library of Virginia, сотрудникам становится все сложнее доказывать отсутствие запрошенных материалов. Библиотека планирует ввести требование предварительной проверки источников пользователями и указания, были ли ссылки получены с помощью ИИ. Также рассматривается возможность ограничения времени на верификацию.
Международный комитет Красного Креста (МККК) также выразил обеспокоенность, предупредив о выдумывании ИИ – ChatGPT, Gemini, Copilot и других – каталожных номеров, описаний документов и даже целых платформ. В качестве примеров приводятся несуществующие Journal of International Relief и International Humanitarian Digital Repository. Архивы МККК перегружены запросами на несуществующие документы.
МККК объясняет проблему тем, что языковые модели не осуществляют реальный поиск и не проверяют информацию. Они генерируют текст, основываясь на статистических закономерностях, и не способны признать отсутствие данных. Главная задача ИИ – предоставить ответ, даже если исторических источников не существует.
Разработчики новых версий ИИ предпринимают шаги для снижения количества "галлюцинаций". Например, при обучении GPT-5 использовалась модель, выявляющая и отправляющая на доработку ошибочные ответы. Недавно в GPT-5 появился режим Confessions, предоставляющий отчет о причинах ответа и степени уверенности модели.
