Монгол яриаг текст болгох нь: Whisper-ийн үнэгүй үнэ алдаанд унадаг

Монгол хэлний ярилцлага, хурлын бичлэгийг текст болгохдоо Whisper-ийг төлбөргүй ажиллуулж болдог гэх шалтгаанаар шууд сонгох хэрэггүй. Өөрийн аудиог хэд хэдэн хувилбараар буулгаж, үгийн алдаа болон засварлахад орох цагийг харьцуулбал аль нь бага ажил үлдээх нь тодорхой болно. Монгол хэлний сорилуудад Whisper өндөр алдаа гаргасан тул үнэ төлбөргүй загварын бодит өртөг хүний засварт шилжиж болно.

Эхлээд бэлэн үйлчилгээ болон өөрөө ажиллуулах загварыг ижил бичлэг дээр шалга. Бэлэн хувилбар алдаа багатай, хадгалалт нь шаардлагад нийцэж байвал сургалт хийхгүйгээр ашиглах нь энгийн сонголт. Нэр томьёо, аялга эсвэл англи үг холилдсон хэсэгт алдаа тогтмол давтагдаж, засварын ажил их байвал өөрийн өгөгдлөөр ASR загвар тохируулах өртгийг тооцох үндэслэл гарна.

Монгол хэлний хоёр хэмжилт юу хэлж байна вэ

Harmar-ийн FLEURS дээрх харьцуулалтад ижил 20 монгол бичлэгийн үгийн алдааны хувь үндсэн хүснэгтээр Harmar-д 12.3%, Whisper large-v3-д 88.9% гарсан; харин мөн нийтлэлийн эрэмбэлсэн жагсаалтад 11.7%, 87.1% гэж зөрүүтэй бичсэн бөгөөд шалтгааныг нь тайлбарлаагүй. Тиймээс 20 бичлэгтэй үндсэн хүснэгтийн тоог зөвхөн тэр дээжийн үр дүн гэж ойлгох нь зүйтэй. Сорилд бичмэл өгүүлбэрийг нэг нэгээр нь уншсан аудио ашигласан: олон хүн давхар ярьдаг хурал, өрөөний шуугиан, дундуур орсон англи нэрийг энэ дүн хэмжээгүй.

Өөр байгууллагын, өөр өгөгдөл дээрх хэмжилт мөн болгоомжлох шалтгаан өгдөг. Whisper-ийн анхны судалгааны Common Voice 9 хүснэгтэд монгол хэлний WER тухайн үед шалгасан бүх checkpoint дээр 100%-иас давсан. Энэ нь FLEURS-ийн дээрх бичлэгүүд ч биш, дараа гарсан large-v3-ийн хэмжилт ч биш. Хоёр үр дүнг хооронд нь хасаж үйлчилгээний давуу талыг тооцох боломжгүй ч түгээмэл загвар монгол ярианд автоматаар сайн байна гэж үзэх үндэсгүйг харуулна.

Whisper-ийн код, загварыг нийтэд гаргасан тул өөрийн төхөөрөмж дээр ажиллуулахад үйлчилгээний минутын тариф төлөхгүй. Гэхдээ төхөөрөмжийн нөөц, файл боловсруулах хугацаа, засварлах хүний хөдөлмөр бодит зардал хэвээр. Алдаа ихтэй бичвэрийг засахын тулд аудиог дахин сонсох шаардлагатай бол төлбөргүй загварын давуу тал хурдан багасна.

WER-ийг ажлын хэрэгцээтэй холбож ойлгох нь

WER буюу үгийн алдааны хувь нь орхисон, өөр үгээр сольсон, илүү нэмсэн үгийн нийлбэрийг хүний зөв буулгасан эхийн үгийн тоонд хуваадаг үзүүлэлт. Жишээ нь, зөв эх 100 үгтэй, 4 үг орхигдсон, 3 үг солигдсон, 1 илүү үг нэмэгдсэн гэж төсөөлье. Тэгвэл WER 8% болно. Илүү үг олноор нэмэгдвэл энэ үзүүлэлт 100%-иас ч давж болно.

WER нь нийт алдааг нэг тоонд багтаадаг ч бүх алдааны ажлын үр дагавар ижил биш. Хурлын шийдвэр дэх хүний нэр, байгууллага эсвэл үүрэг хариуцсан этгээд буруу гарвал ганц үгийн алдаа ч тэмдэглэлийг ашиглахад саад болно. Харин цэг тэмдэг, том жижиг үсгийн зөрүүг яриа таних алдаа гэж тооцвол системүүдийг шударга харьцуулж чадахгүй. Зөв эх болон бүх системийн үр дүнг ижил бичлэгийн дүрмээр жигдлэх хэрэгтэй.

Өөрийн арван минутын аудиогоор харьцуулах нь

Эхний шүүлтүүрт хэрэглээтэйгээ төстэй арван минутын аудио сонго. Хурлын тэмдэглэл гаргадаг бол харилцан яриа, ярилцлага буулгадаг бол ярилцлага ав; өөр яригч, нэр томьёо, боломжтой бол шуугиантай хэсгийг хамруул. Хүн сонсож зөв бичсэн эх бэлтгээд яг тэр файлыг бүх хувилбарт өг. Дараах үзүүлэлтүүдийг хувилбар бүрт нэг мөрөөр тэмдэглэвэл оноо болон үлдэх ажлыг хамтад нь харна:

• Үгийн алдаа: зөв эхийн үгийн тоо, орхисон, сольсон, нэмсэн үг болон WER-ийг бич. Бүх хувилбарт том үсэг, цэг тэмдэг, тооны бичлэгийг ижил дүрмээр жигдэл.
• Нэр томьёо: хүний нэр, байгууллага, газар, мэргэжлийн үг тус бүр зөв гарсан эсэхийг тоол. Заавал алдаагүй байх нэрийг нийт WER-ээс тусад нь тэмдэглэ.
• Хэл солилт: монгол өгүүлбэр дундах англи үг, товчлол хэвээр гарсан уу, орхигдсон уу, өөр үгээр солигдсон уу гэдгийг хар.
• Хугацаа: файл өгөхөөс засахад бэлэн бичвэр авах хүртэлх хугацаа, дараа нь хүний засварт зарцуулсан хугацааг тусад нь хэмж.
• Нууцлал: аудио хаашаа дамжих, хадгалагдах хугацаа, устгах боломж болон гэрээний нөхцөлийг үйлчилгээ бүрээр шалга.

Арван минутын үр дүн бол чанарын эцсийн баталгаа биш, эхний сонголт хийх жижиг сорил. Ойролцоо оноотой хувилбаруудыг өөр яригч, өөр өрөөний бичлэгээр дахин харьцуулбал нэг аялга эсвэл микрофонд тохиолдлоор таарсан давуу талыг ялгана. Хурлын бичлэг эмзэг мэдээлэл агуулдаг бол туршилтын файлаа үйлчилгээ рүү дамжуулахаас өмнө байгууллагын зөвшөөрөл, шаардлагад нийцүүл.

Бэлэн үйлчилгээний үнэ хаана өсдөг вэ

Бэлэн үйлчилгээний минутын тарифыг дангаар нь харьцуулахад шийдвэр дутуу гарна. Аудио боловсруулах төлбөр дээр засварт зарцуулсан цагаа нэмээд, өөрөө ажиллуулах хувилбарын төхөөрөмж, ажиллуулах хугацаа, засварын цагтай зэрэгцүүл. Хүний засварын цагийг байгууллагын ажлын цагийн үнээр тооцвол хямд тариф их алдаанаас болж үнэтэй болж байгаа эсэх нь харагдана. Тариф болон хадгалалтын нөхцөл өөрчлөгдөж болох тул худалдан авах үедээ хүчинтэй нөхцөлийг нь шалга.

Бэлэн үйлчилгээ нэрсийг хангалттай таньж, засвар хурдан дуусч, аудионы хадгалалт шаардлагад нийцвэл түүнийг шууд ашиглаж болно. Бичлэгийг гадагш дамжуулахыг зөвшөөрдөггүй орчинд дотооддоо ажиллуулах загвар илүү тохиромжтой байж болох ч төхөөрөмж, хадгалалт, хүний хяналтыг хамтад нь бэлдэх шаардлагатай. Автомат бичвэрт нэр, шийдвэр, үүрэг даалгаврыг эцсийн тэмдэглэл болгохоос өмнө аудиотой тулгах нь алдааны үр дагаврыг багасгана.

Загвар тохируулах босго

Бэлэн хувилбарын алдаа олон бичлэгт ижил хэлбэрээр давтагдаж, засварын цаг хуримтлагдаж байвал fine-tune хийхийг тооцож болно. Hugging Face-ийн Common Voice 16.0 дээрх сургалтын жишээнд монгол хэлний ойролцоогоор 14 цагийн баталгаажсан сургалтын өгөгдөл ашиглахад тохируулсан Wav2Vec2-BERT 32.4%, мөн тохируулсан Whisper large-v3 33.3% WER-д хүрсэн. Тэр туршилтын орчинд Wav2Vec2-BERT-ийн ажиллагаа 10–30 дахин хурдан, нөөцийн ашиглалт 2.5 дахин үр ашигтай хэмжигдсэн. Эдгээр нь тохируулаагүй Whisper эсвэл өөр төхөөрөмж дээр гарах үр дүнгийн баталгаа биш.

Тохируулгын өртөгт зөвхөн загвар сургах төхөөрөмж орохгүй. Зөв буулгасан аудио цуглуулах, тэмдэглэгээний алдаа засах, дараагийн хувилбарыг үнэлэх ажил хэрэгтэй. Туршилтын аудиогоо сургалтад оруулахгүй хадгалбал тохируулсан загвар өмнөхөөсөө сайжирсан эсэхийг бие даасан бичлэг дээр үзэж чадна. Сургалтын бичлэг зорьж буй хэрэглээтэйгээ ойр байх тусам энэ шалгалт утгатай болно.

Common Voice-ийн уншсан өгүүлбэр хурлын тасалдал, давхар яриа, салбарын нэр томьёог бүрэн төлөөлөхгүй. Hugging Face-ийн жишээнд зөвхөн монгол кирилл бичвэрт төвлөрөхийн тулд латин үсгийг сургалтын эхээс хассан байдаг. Монгол, англи үг ээлжилдэг ажлын бичлэгт ийм цэвэрлэгээг шууд хуулбал таних ёстой үгээ сургалтын материалаас арилгах эрсдэлтэй. Тиймээс өөрийн аудиод хамгийн их засвар үүсгэдэг алдааг эхэлж тодорхойлоод, түүнтэй төстэй зөв тэмдэглэсэн бичлэг цуглуулах нь тохируулгын босгыг бодитой үнэлэх арга юм.

Мөн уншаарай:

• ChatGPT Images эсвэл Midjourney: текст ба хэв маяг хоёр өөр ялагчтай
• Supabase эсвэл Firebase: үнэгүй quota өсөхөд өөр төрлийн төлбөр болдог
• Zoom эсвэл Google Meet: Монгол хүртэлх саатал багцын үнээс чухал