Математический потолок креативности ИИ: исследование
Новая работа австралийского исследователя Дэвида Кропли из Университета Южной Австралии утверждает: у генеративного ИИ вроде ChatGPT есть математический предел креативности. В статье, опубликованной в The Journal of Creative Behavior, он соотносит стандартное психологическое определение творчества с внутренней работой крупных языковых моделей (LLM) и приходит к выводу, что их "творческая мощность" не может превысить 25% от теоретического максимума.
В основе исследования лежит формула C = N × E, где C — креативность, N — новизна, E — эффективность. Кропли приравнивает эффективность к вероятности выбора слова моделью (E = p), а новизну — к величине (1 − p). Это приводит к уравнению C = p × (1 − p) = p − p², представляющему собой параболу, достигающую максимума в 0,25 при p = 0,5. Слишком предсказуемые слова снижают новизну, а слишком редкие – уместность.
Чтобы проиллюстрировать, автор приводит пример: для LLM слово "mat" имеет наибольшую вероятность завершения фразы "The cat sat on the …?", но это лишенно новизны. Другие варианты, такие как "chair", "lap" или даже "moon", менее вероятны, но более оригинальны, хотя и с риском бессмыслицы. Кропли утверждает, что эта логика распространяется и на более длинные ответы, которые формируются как последовательность таких выборов, ограничивая креативность максимальным значением 0,25.
Переводя это значение в человеческие рамки, Кропли ссылается на модель «4C», различающую повседневную, профессиональную и гениальную креативность. Он отмечает, что 25% от верхнего уровня творческих способностей соответствует среднему уровню человека. Исследователь полагает, что LLM способны имитировать творчество, но вряд ли превзойдут уровень профессионалов.
Важно понимать, что Кропли говорит об ограничениях LLM, основанных на статистическом анализе данных и вероятностном выборе. Для достижения экспертного уровня необходимы новые архитектуры, способные создавать идеи, не завязанные на существующих паттернах. Однако, критики утверждают, что его методология и выбор метрик могут быть ограничены, и не полностью отражают возможности гибридных систем, объединяющих ИИ и человека.
