ИИ научится говорить по-русски: новый датасет для коррекции ошибок

Исследователи Института ИИ МГУ и Яндекса представили LORuGEC — первый общедоступный набор данных, содержащий примеры сложных грамматических ошибок в русском языке. Они также разработали новый метод, позволяющий обучить искусственный интеллект исправлять ошибки в грамматике, пунктуации и орфографии при создании текстов.

Датасет и метод обучения опубликованы в открытом доступе, что позволит исследователям и разработчикам использовать их для создания образовательных инструментов для школьников и студентов.

Несмотря на значительные успехи больших языковых моделей в написании текстов, они часто допускают ошибки в русском языке из-за недостатка примеров сложных правил в обучающих наборах данных. LORuGEC охватывает 48 таких правил, включая те, которые проверяются на ЕГЭ и олимпиадах, и содержит около 1000 предложений с конкретными языковыми нормами.

Для повышения точности исправления сложных ошибок без полной переподготовки модели, был предложен метод Retrieval-Augmented Generation. Он позволяет модели GECTOR находить в LORuGEC примеры, соответствующие типу ошибки в исходном тексте, и использовать их для подсказки большой языковой модели.

Тестирование метода на моделях YandexGPT 5 Lite и YandexGPT 5 Pro, а также на зарубежных аналогах, показало увеличение точности исправления ошибок на 5–10% по метрике F0,5. YandexGPT 5 Pro достигла 83% точности, а YandexGPT 5 Lite — 71%.

Этот проект демонстрирует плодотворное сотрудничество между наукой и индустрией, объединив опыт лингвистов и инженеров для создания решения, способного понимать и исправлять тонкости русского языка.