ИИ-отчеты: 20% информации – вымысел
Новое исследование от команды искусственного интеллекта Oppo выявило систематические ошибки в системах глубокого анализа, используемых для автоматизированного составления отчётов. Около 20% ошибок связано с генерацией правдоподобного, но вымышленного контента.
Исследователи проанализировали около 1000 отчётов, используя разработанные ими инструменты оценки: FINDER (для задач глубокого анализа) и DEFT (таксономию классификации ошибок).
В ходе тестирования одна из систем заявила о доходности инвестиционного фонда в 30,2% годовых на протяжении 20 лет. Учитывая отсутствие публичного доступа к подобным данным, эта цифра, вероятно, была сгенерирована искусственно.
Другой тест с научными статьями показал, что система выдала 24 ссылки, некоторые из которых оказались нерабочими или вели на обзоры, а не на оригинальные исследования, несмотря на утверждения системы о проверке каждого источника.
Команда идентифицировала 14 типов ошибок, сгруппированных в три категории: рассуждение, поиск и генерация. Наибольший процент ошибок приходится на генерацию (39%), за которой следуют ошибки поиска (33%) и ошибки рассуждения (28%).
Таксономия DEFT делит ошибки на три основные категории: проблемы рассуждения, такие как жесткое планирование, а также проблемы с поиском и генерацией информации, включая верификацию и создание контента.
Большинство систем способны понимать задачу, но терпят неудачу при её выполнении. Если система не может получить доступ к необходимой базе данных, она не меняет стратегию, а заполняет пробелы вымышленными данными.
Ошибки могут возникать на любом этапе процесса – от поиска информации до её представления. Отсутствие финальной проверки приводит к тому, что необоснованные утверждения выдаются за факты.
