Русский и польский лидируют: языки для длинных текстов в ИИ
Современные языковые модели испытывают трудности при работе с длинными текстами, даже если они помещаются в контекстное окно. Исследование OneRuler, проведенное на 26 языках, показало, что для длинных контекстов наиболее эффективными оказались польский, русский и украинский языки, опередив английский и китайский.
OneRuler использует расширенный бенчмарк RULER для оценки способности моделей к поиску информации и агрегации данных в больших объемах текста. В эксперименте участвовали как закрытые модели (Gemini 1.5 Flash, OpenAI o3-mini-high), так и открытые (Qwen 2.5, Llama 3.1, Llama 3.3, DeepSeek-R1).
Разрыв в эффективности между языками с достаточным и недостаточным объемом данных для обучения увеличивается с ростом контекста. Славянские, романские и германские языки демонстрируют лучшие результаты, в то время как английский и китайский отстают.
Причины такого распределения пока неясны. Возможно, это связано с количеством информации, помещающейся в токен, нестабильностью при использовании разных языков в запросе и тексте, дисбалансом в обучающих данных или проблемами с обработкой инструкций.
Результаты бенчмарка демонстрируют, что заявленные возможности современных ИИ не всегда соответствуют действительности, и качество ответов может сильно варьироваться в зависимости от языка.
