Новый бенчмарк выявил склонность ИИ к галлюцинациям
Artificial Analysis представила новый бенчмарк AA-Omniscience, оценивающий склонность ИИ к галлюцинациям. В отличие от традиционных тестов, он учитывает не только точность ответов, но и умение модели признавать незнание. Лидерами стали модели Claude: Claude 4.5 Haiku показал 26% неверных ответов среди неудачных попыток, а Claude 4.5 Sonnet и Claude 4.1 Opus разделили второе и третье место с результатом 48%.
Бенчмарк состоит из 6000 вопросов по 42 темам в шести областях: бизнес, право, медицина, софтверная инженерия, гуманитарные и социальные науки, а также наука, инженерия и математика. Вопросы сформулированы так, чтобы требовать коротких и однозначных ответов, и моделям запрещено использовать поиск.
Оценка включает точность, уровень галлюцинаций (доля неверных ответов среди неудачных попыток) и интегральный Omniscience Index, который учитывает баланс между знанием и самокритичностью. Отказ от ответа не штрафуется, а наоборот, рассматривается как способ снизить риск галлюцинаций.
По результатам теста, у большинства моделей количество неверных ответов превышает количество верных. Некоторые модели, такие как Grok 4 и GPT-5 (high), демонстрируют высокую точность, но склонны к догадкам, что снижает их общий показатель.
Исследование OpenAI ранее указывало на проблему в текущих методах обучения ИИ: модели поощряются за верные ответы, но не наказываются за неверные, что стимулирует галлюцинирование.
