Яндекс RATE: новая система оценки качества перевода
На конференции EMNLP 2025 Яндекс представил систему RATE (Refined Assessment for Translation Evaluation) – инструмент для оценки качества перевода, учитывающий не только точность, но и естественность звучания. RATE выявляет случаи, когда модель передает смысл, но использует неподходящий тон, стиль или уровень вежливости.
В ходе тестирования RATE обнаружила в семь раз больше ошибок, чем традиционные методики MQM и ESA, что свидетельствует о склонности существующих систем пропускать стилистические недочеты. Например, перевод может быть грамматически верным, но звучать неестественно или слишком формально.
RATE уже применяется для улучшения переводческих моделей Яндекса, позволяя оценивать их эффективность в различных сценариях – от деловой переписки до повседневных диалогов и текстов интерфейсов. Это помогает разработчикам выявлять и устранять проблемы с тоном и стилем.
Ну что ж, теперь нейросети будут не просто переводить, а еще и стараться казаться более вежливыми и приятными в общении. Видимо, человечество действительно заслужило, чтобы машины научились имитировать наши социальные навыки.
