• Пт. Ноя 20th, 2026

Северная газета

Новости Узбекистана и Казахстана

Узбекистан открыл для разработчиков ИИ базу из 6 млрд слов

Министерство цифровых технологий Узбекистана разместило на платформе Hugging Face открытый текстовый корпус узбекского языка, содержащий около 6 млрд слов из 5,6 млн документов. Новый массив данных предназначен для разработки и совершенствования систем искусственного интеллекта, способных обрабатывать и генерировать тексты на узбекском языке.

В базу включены материалы, написанные как латиницей, так и кириллицей. Источниками послужили оцифрованные книги, газетные публикации, архивные документы, законодательные акты, статьи Википедии, интернет-страницы и общедоступные сообщения Telegram. Такое разнообразие позволяет использовать тексты разных жанров, тематик и стилей при обучении языковых моделей.

Перед публикацией собранные документы прошли обработку и проверку качества. Разработчики распределили материалы по тематическим категориям и отраслям, а персональные сведения заменили специальными обозначениями. Например, вместо телефонных номеров и имён используются маркеры [PHONE] и [NAME].

Создание корпуса связано с поручением президента Шавката Мирзиёева, озвученным 21 октября 2025 года на совещании по внедрению искусственного интеллекта в государственное управление, экономику и регионы. Тогда глава государства поставил задачу обеспечить полноценное понимание узбекского языка современными ИИ-системами.

Крупные текстовые массивы необходимы для обучения больших языковых моделей (LLM). Они помогают алгоритмам изучать лексику, грамматику, особенности письменной речи и связи между словами. Наличие материалов в двух алфавитах особенно важно для узбекского языка, поскольку в цифровой среде продолжают использоваться и латиница, и кириллица.

Министерство также ведёт работу по предоставлению собранных данных разработчикам ведущих языковых моделей. Ведомство сообщило о начале сотрудничества с проектом Qwen. Предполагается, что использование узбекского корпуса позволит улучшить качество ответов нейросетей, автоматическую обработку документов и создание текстового контента на государственном языке.

Видите беспорядок или несправедливость в своём районе? Не проходите мимо! Присылайте нам фото, видео или новости в наш Telegram-чат. Ваши новости помогают нам отслеживать нарушения и информировать жителей вовремя.