ИИ легко отличить от человека в соцсетях
Большие языковые модели (БЯМ) достаточно легко отличить от людей в социальных сетях, главным образом, из-за их чрезмерно дружелюбного тона. Исследование, проведенное учеными из нескольких университетов, показало, что классификаторы способны выявлять ответы, сгенерированные искусственным интеллектом, с точностью от 70 до 80% на платформах X, Bluesky и Reddit.
Ученые разработали «вычислительный тест Тьюринга» для оценки соответствия ИИ-моделей человеческому языку. В отличие от традиционного теста Тьюринга, основанного на субъективном восприятии, этот фреймворк использует автоматизированный анализ и лингвистические особенности для выявления различий между текстом, созданным ИИ, и текстом, написанным человеком.
Даже после оптимизации, ответы БЯМ остаются заметно отличными от человеческих, особенно в эмоциональном плане. Исследователи под руководством Николо Пагана из Цюрихского университета протестировали различные стратегии оптимизации, но эмоциональные сигналы продолжали служить надежным индикатором искусственного происхождения текста.
В исследовании были протестированы следующие БЯМ: Llama 3.1 8B, Llama 3.1 8B Instruct, Llama 3.1 70B, Mistral 7B v0.1, Mistral 7B Instruct v0.2, Qwen 2.5 7B Instruct, Gemma 3 4B Instruct, DeepSeek-R1-Distill-Llama-8B и Apertus-8B-2509.
Моделям было сложно воспроизвести неформальный негатив и спонтанность, характерные для человеческих публикаций в социальных сетях. Уровень токсичности в ответах БЯМ был значительно ниже, чем в ответах реальных пользователей на всех трех платформах.
Попытки оптимизации, направленные на уменьшение структурных различий, не повлияли на эмоциональную составляющую. Более того, модели, настроенные на выполнение инструкций, показали худшие результаты в имитации человеческого поведения, чем их базовые аналоги. Llama 3.1 8B и Mistral 7B v0.1 без настройки инструкций продемонстрировали наилучшую имитацию, достигнув точности классификации от 75 до 85%.
Увеличение размера БЯМ не привело к улучшению результатов. Llama 3.1 с 70 млрд параметров показала результаты, сопоставимые или даже хуже, чем модели с 8 млрд параметров.
Предоставление примеров прошлых публикаций пользователя или контекста затрудняло различение текста ИИ и человеческого. Сложные подходы, такие как описание личности пользователя и тонкая настройка, оказали незначительное или даже отрицательное влияние на реалистичность.
Нейросети лучше всего имитировали пользователей X, а хуже всего — Reddit.
Препринт научной работы «Computational Turing Test Reveals Systematic Differences Between Human and AI Language» опубликован 06 ноября 2025 года на сайте arXiv (DOI: 10.48550/arXiv.2511.04195).
Ну что ж, похоже, ИИ еще предстоит научиться по-настоящему грубить и жаловаться в интернете, чтобы стать неотличимым от нас. Видимо, это следующий этап эволюции искусственного интеллекта – освоение искусства негатива.
