Интернетта башҡорт телен ҡулланыу киңәйә

Глобаль селтәрҙә башҡорт телендәге бирелмәләрҙе һаҡлаған «bashkorttele» тигән ҙур йәшник бар. Уға 10 меңләп өр-яңы һөйләм өҫтәлгән! Был һөйләмдәр өс телдә яҙылған: башҡортса, урыҫса һәм тағы бер телдә (мәҫәлән, ҡытайса, алтайса, ҡаҙаҡса, яҡутса йә ғәрәпсә). Был тәржемәсе машиналар өсөн бик ҙур байлыҡ!

Тағы ла бер шәп яңылыҡ! Башҡорт телмәре корпусы барлыҡҡа килгән. Тауыштар йыйылмаһы 53 сәғәтлек яҙмаларҙан тора! Унда «Башҡортостан» радиоһының 293 аудиояҙмаһы ингән. Быныһы телефон һәм компьютерҙар беҙҙең башҡортса һөйләшкәнде аңлаһын өсөн кәрәк!

БР Хөкүмәтенең беренсе вице-премьеры Урал Килсенбаев әйтеүенсә, эш дауам итә. Нейроселтәрҙәр башҡортса аңлаһын, башҡортса яҙһын, яуап бирһен, халҡыбыҙҙың тарихын һәм мәҙәниәтен белһен тип тырыша белгестәр.

Был темаға ентеклерәк мәғлүмәт –“Башинформ” мәғлүмәт агентлығы сайтындағы киләһе материалда:

Фонд сохранения и развития башкирского языка опубликовал серию языковых датасетов Bashkorttele. Как сообщили в пресс-службе минцифры республики, работа сделана в рамках деятельности комиссии при правительстве по сохранению языков народов РБ под председательством первого заместителя премьер-министра Урала Кильсенбаева.

В датасеты, опубликованные на платформе Hugging Face, вошли 78 часов аудиокниг (эпосы и кубаиры, проза, поэзия, народные сказки); 53 часа аудиозаписей теле- и радиопередач и пять разговорников: башкирский / русский / казахский / алтайский / якутский / арабский / китайский.

– Публикация на Hugging Face позволила сделать языковой корпус равнодоступным как для именитых фронтир-лабораторий, обучающих большие многоязычные модели на тысячах языков, так и разработчикам республики, школьным учителям и студентам, работающим над дипломом, без лишних бюрократических проволочек, – пояснили в ведомстве.

На базе LLM с использованием передовых агентских технологий построены воспроизводимый «конвейер» обработки исходных материалов (представленных в различных форматах) в наборы данных, адаптированных для машинного обучения. Агенты действовали непосредственно в рабочей среде: читали файлы, писали и запускали код, автономно строили и проверяли гипотезы, предлагали изменения.

Разница получилась качественная: там, где прежде каждое правило выводилось умозрительно и проверялось выборочно, агент измерял его на всём корпусе, видел цену ошибки в числах и переписывал алгоритм за то время, которое прежде уходило только на постановку задачи.

В минцифры отметили многолетний труд по формализации башкирской орфографии Bashspell Айгиза Кунафина, морфологический анализатор, опубликованные Институтом истории, языка и литературы УФИЦ РАН «Грамматика современного башкирского литературного языка» и «Алгоритмическую грамматику словоизменения башкирского языка», которые использовались при автоматическом разборе каждого спорного случая.

– Современные модели уверенно говорят на малоресурсных языках, но именно из-за меньшей представленности в обучающих данных у генеративных моделей случается дрейф: башкирский текст незаметно съезжает в татарскую или казахскую морфологию, спецбуквы подменяются похожими, согласование по гармонии гласных ломается, – рассказали создатели проекта. — Отдельная ценность — параллельные трёхъязычные разговорники: 9857 фраз, выровненных с казахским, алтайским, якутским, арабским и китайским, редкий материал для машинного перевода внутри тюркской семьи, где путаница между родственными языками наиболее вероятна.

Опубликованный корпус — это основа для совершенствования технологий распознавания и синтеза речи, на которых строятся сервисы для граждан: голосовые помощники, контакт-центры на башкирском, субтитрование и автоматический перевод республиканского вещания, клавиатуры и корректоры для смартфонов, образовательные сервисы: языковые тренажёры, интерактивные упражнения, адаптивные школьные программы.

Эпосы и кубаиры, начитанные в студии для незрячих читателей; подшивки республиканских газет и журналов; книги издательства «Китап». Оцифровка сама по себе сохраняет текст; машиночитаемый корпус сохраняет язык в форме, пригодной для того, чтобы на нём говорили технологии следующего десятилетия.

Работа по расширению доступного языкового корпуса и открытых инструментов на его основе будет продолжена.

Фото: логотип / БР Цифрлаштырыу министрлығы