Российские ИИ-модели могут потерять конкурентные преимущества из-за нехватки данных
Институт ИИ ИТМО представил исследование российского рынка больших языковых моделей (LLM) с участием 14 экспертов из МГУ, ВШЭ, РАНХиГС, AIRI, Яндекса, Сбера, Т-Банка, VK и других организаций.
➡️Российские модели не уступают зарубежным в работе с русским языком, а в понимании культурного кода и локальных реалий в ряде случаев превосходят их. Но для дальнейшего развития им не хватает качественных данных.
По оценкам экспертов, открытый русскоязычный интернет в 10–20 раз меньше общемирового. При этом для обучения универсальных моделей нужны и международные источники: оптимальная доля русского языка в обучающем корпусе составляет 5–30%.
📚 Где искать новые данные?
В библиотеках, архивах, университетах, научных и профессиональных организациях. Такие материалы могут усилить российские модели в медицине, юриспруденции, строительстве и других отраслях. Перспективны также экспертные и синтетические данные: небольшие, но качественно подготовленные наборы могут быть полезнее огромных массивов обычных текстов.
⚖️ Однако на фоне дефицита данных обсуждаются новые правила их использования.
12 ноября Совет при президенте по кодификации одобрил проект поправок, предусматривающий договор с правообладателем, открытую лицензию или использование произведений с выплатой компенсационного вознаграждения. Также предлагается дать правообладателям возможность запрещать использование своих произведений для обучения ИИ.
Для российских разработчиков это может означать дополнительные расходы и ограничения. Получается парадокс: чтобы конкурировать с мировыми лидерами, отечественным моделям нужно больше качественных данных, но новые регуляторные требования могут сделать доступ к ним сложнее и дороже.
53 просмотра в MAX