Впервые российские исследователи из Московского государственного университета и компании «Яндекс» объединили усилия для создания открытого набора данных, который охватывает наиболее сложные аспекты грамматики и пунктуации русского языка. Этот проект стал ответом на давнюю проблему: современные языковые модели, несмотря на впечатляющие успехи в генерации текстов, часто допускают ошибки в тех случаях, где требуется знание тонких лингвистических нюансов. Причина кроется в недостатке специализированных примеров в доступных датасетах, что затрудняет обучение нейросетей корректной работе с трудными правилами.
В рамках новой инициативы был собран уникальный датасет, включающий 48 ключевых правил, которые традиционно вызывают затруднения даже у носителей языка. В него вошли примеры, встречающиеся на экзаменах и олимпиадах: от пунктуации в сложноподчинённых конструкциях до тонкостей написания слов с частицей «не» и согласования подлежащего и сказуемого. Для сбора и разметки данных привлекались студенты-лингвисты, а также использовались авторитетные справочники по русскому языку. В результате удалось подготовить тысячу тщательно отобранных примеров, где не только исправлены ошибки, но и подробно указаны соответствующие правила.
Разработчики отмечают, что такой подход позволяет не просто выявлять и исправлять ошибки, но и объяснять, почему именно то или иное исправление является верным. Это особенно важно для обучения искусственного интеллекта, который должен не только механически исправлять текст, но и понимать логику языка.
Инновационный метод обучения нейросетей
Для повышения эффективности работы с новым датасетом команда внедрила оригинальный метод обучения нейросетей — Retrieval-Augmented Generation (генерация с усилением поиском). Суть подхода заключается в том, что модель, сталкиваясь с ошибкой, сначала ищет в датасете аналогичные случаи, а затем использует найденные примеры для корректного исправления исходного предложения. Такой механизм позволяет избежать избыточных изменений и фокусироваться только на проблемных участках текста.
В качестве основы для обучения была выбрана модель GECTOR, которую доработали с учетом специфики русского языка. В ходе тестирования на различных языковых моделях, включая YandexGPT 5 Lite и YandexGPT 5 Pro, а также зарубежных аналогах, удалось добиться значительного роста точности исправлений. По международной метрике F0,5, которая применяется для оценки качества грамматической коррекции, прирост составил от 5 до 10 процентов. Особенно заметно улучшение проявилось при работе с наиболее сложными ошибками, которые ранее оставались вне зоны внимания стандартных алгоритмов.
YandexGPT 5 Pro, например, после внедрения нового метода стал исправлять ошибки с точностью до 83 процентов, а более легкая версия YandexGPT 5 Lite — до 71 процента. Эти результаты подтверждают универсальность и эффективность предложенного подхода, который может быть адаптирован для других языков и задач.
Влияние на развитие искусственного интеллекта
Эксперты подчеркивают, что появление такого инструмента открывает новые возможности для развития систем автоматической проверки и коррекции текстов на русском языке. Теперь нейросети способны не только исправлять типовые опечатки, но и разбираться в сложных синтаксических конструкциях, что особенно важно для образовательных платформ, сервисов автоматического перевода и голосовых помощников.
Проект получил признание на международной конференции по компьютерной лингвистике ACL 2025, где был отмечен как одно из лучших решений в области применения искусственного интеллекта в образовании. Среди участников мероприятия были ведущие мировые компании, такие как Google, Apple, IBM и Bloomberg AI, что подчеркивает высокий уровень российской разработки.
В рамках Конгресса молодых ученых, проходившего в Научно-технологическом университете «Сириус» с 26 по 28 ноября, представители «Яндекса» подробно представили результаты работы и поделились планами по дальнейшему развитию технологии. Ожидается, что открытый доступ к датасету и методике обучения позволит другим исследователям и компаниям использовать наработки для собственных проектов.
К слову о Яндексе: лидер цифровых технологий в России
К слову, «Яндекс» — одна из крупнейших IT-компаний России, основанная в 1997 году. За годы работы бренд превратился из поисковой системы в мультипродуктовую экосистему, охватывающую сферы от онлайн-карт и такси до облачных сервисов и искусственного интеллекта. Компания активно инвестирует в научные исследования, сотрудничает с ведущими университетами и поддерживает стартапы в области высоких технологий. В последние годы «Яндекс» уделяет особое внимание развитию собственных языковых моделей и сервисов на базе ИИ, что позволяет ей конкурировать с мировыми лидерами отрасли. Продукты компании используются миллионами пользователей не только в России, но и за ее пределами. Благодаря постоянным инновациям и ориентации на качество, «Яндекс» сохраняет позиции одного из флагманов цифровой трансформации в стране.
