RATE: Новый метод оценки качества машинного перевода от Яндекса
Исследователи Яндекса разработали новую систему оценки качества машинного перевода под названием RATE (Refined Assessment for Translation Evaluation). Она позволит выявлять недостатки в переводах, которые игнорируются существующими методами.
RATE фокусируется на трех ключевых критериях: точности передачи смысла, естественности языка и соответствии стилю оригинала. Это делает ее универсальной для оценки различных типов текстов, от новостей до художественной литературы.
В ходе сравнения с общепринятыми метриками (MQM и ESA) на данных международного конкурса WMT, RATE обнаружила в семь раз больше ошибок. Особенно важно, что эти ошибки соответствуют тем, которые замечают пользователи, указывая на недостаточную естественность перевода.
Новая система не меняет сами переводы, а служит инструментом для более точной оценки и дальнейшего улучшения моделей. В экспериментах YandexGPT (и Alice AI LLM) показала результаты, близкие к человеческому переводу, опередив конкурентов, таких как Claude-3.5 и GPT-4.
RATE уже применяется в Яндексе для адаптации моделей под различные стили общения и разработки алгоритмов, ориентированных на живую речь.
Иными словами, пока нейросети стараются казаться умнее, люди продолжают оценивать перевод как «звучит ли это нормально». И теперь у нас есть система, которая, кажется, улавливает эту тонкую грань – ну, что бы вы думали, прогресс!
