ถอดเสียงไทยด้วย Whisper หรือ Google: ชุดทดสอบเดียวกันยังให้คำตอบต่างกัน

ตารางประเมินภาษาไทยของ GigaSpeech 2 ให้ Whisper large-v3 มีค่าอัตราความผิดพลาดระดับอักขระหรือ CER ต่ำกว่า Google USM Chirp v2 เมื่อทั้งคู่ถอดเสียงเดียวกันภายในแต่ละชุดทดสอบ แต่ระยะห่างของคะแนนเปลี่ยนมากตามชุดเสียง หากต้องเลือกจากหลักฐานสาธารณะ คู่นี้จึงเอนเอียงไปทาง Whisper ภายใต้เงื่อนไขการทดลองที่รายงานไว้

สำหรับงานถอดเสียงไทยจริง คำตอบที่ใช้ตัดสินใจได้ต้องมาจากคลิปประเภทเดียวกับงานที่จะนำไปใช้ โดยส่งไฟล์ชุดเดียวกันให้ทั้งสองระบบและเทียบกับบทถอดอ้างอิงเดียวกัน ควรแยกเสียงอ่านออกจากบทสนทนาและดูคำอังกฤษหรือชื่อเฉพาะควบคู่กับ CER เพราะอันดับจากคะแนนรวมอาจไม่ตรงกับความเสียหายที่เกิดกับข้อความปลายทาง

สามชุดเสียงให้ช่องว่าง CER ไม่เท่ากัน

ตัวเลขต่อไปนี้เป็น CER ภาษาไทยของคู่รุ่นที่ระบุในตารางงานวิจัย ยิ่งต่ำยิ่งถอดได้ใกล้บทอ้างอิงมากขึ้น การเทียบ Whisper กับ Google ภายในแถวเดียวกันมีความหมาย เพราะทั้งคู่เจอชุดประเมินเดียวกัน ส่วนการเทียบคะแนนข้ามแถวต้องนึกถึงเนื้อหาและลักษณะเสียงที่เปลี่ยนไป

• GigaSpeech 2: Whisper large-v3 ได้ 20.44% และ Google USM Chirp v2 ได้ 49.70% ชุดประเมินนี้มาจากคำพูดในวิดีโอ YouTube และมีบทถอดที่มนุษย์ตรวจแล้ว จึงใกล้เสียงพูดตามธรรมชาติมากกว่าการอ่านประโยคตามสคริปต์
• Common Voice 17.0: Whisper large-v3 ได้ 6.02% และ Google USM Chirp v2 ได้ 14.75% เสียงในชุดนี้เป็นการอ่านออกเสียง ตัวเลขจึงสะท้อนงานที่ผู้พูดอ่านเนื้อหามากกว่างานสนทนาที่มีการพูดแทรกและเปลี่ยนหัวข้อทันที
• FLEURS: Whisper large-v3 ได้ 11.55% และ Google USM Chirp v2 ได้ 63.35% ชุดนี้ก็เป็นเสียงอ่าน แต่ใช้ข้อความและผู้พูดคนละชุดกับ Common Voice ความต่างของคะแนนจึงไม่อาจอธิบายด้วยป้ายว่าเป็นเสียงอ่านเพียงอย่างเดียว

ในการทดสอบซ้ำพบอัตราการลบข้อความผิดปกติในผลภาษาไทยของ Google USM ผู้ใช้จึงควรตรวจด้วยว่าเสียงช่วงใดถูกปล่อยว่างหรือหายไปทั้งวลี แทนที่จะดูเฉพาะตัวเลข CER รายงานนี้ไม่ได้ระบุว่าทุกโมเดลของ Google จะมีอาการเดียวกัน และไม่ได้วัดทุกการตั้งค่าที่ผู้ใช้บริการอาจเลือกได้

อีกประเด็นคือชื่อ GigaSpeech 2 ใช้ทั้งเรียกชุดประเมินและระบบที่ผู้วิจัยฝึกขึ้นมาเอง ค่าของแถว GigaSpeech 2 ในรายการข้างบนหมายถึงเสียงทดสอบที่ Whisper กับ Google ได้ฟังร่วมกัน ไม่ใช่คะแนนของโมเดลที่ทีมวิจัยเสนอ การแยกความหมายนี้ช่วยไม่ให้เผลอนำผลของระบบอีกตัวมาปนกับการแข่งขันของคู่ที่ผู้อ่านกำลังเลือก

สำหรับการอ่านช่องว่างของคะแนน ให้ใช้หน่วยจุดเปอร์เซ็นต์อย่างระมัดระวัง ในแถว GigaSpeech 2 ความต่างของ CER มากกว่าในแถว Common Voice อย่างชัดเจน แต่การนำความต่างข้ามแถวไปอธิบายว่าโมเดลใดเสื่อมลงมากกว่าอาจเกินหลักฐาน เพราะบทพูด ผู้พูด และความยากของบทอ้างอิงเปลี่ยนพร้อมกัน สิ่งที่เปรียบได้ตรงที่สุดคือผลของระบบสองตัวที่ฟังคลิปเดียวกันในแถวเดียวกัน หากจะวิเคราะห์เหตุของคะแนนที่เปลี่ยน ต้องกลับไปดูชนิดของข้อผิดพลาดและคลิปที่เกิดปัญหา

ชุดประเมิน GigaSpeech 2 ใช้บทถอดที่คนทำและตรวจจากเสียงทดสอบ ขณะที่ข้อมูลฝึกจำนวนมากของโครงการได้มาจากเสียงวิดีโอและป้ายกำกับที่ระบบช่วยสร้างขึ้น ความแตกต่างระหว่างข้อมูลฝึกกับชุดประเมินมีความสำคัญ: ตัวเลขในตารางเป็นการวัดกับคำตอบอ้างอิงสำหรับการทดสอบ ไม่ควรตีความว่าระบบเพียงเห็นข้อความที่ตัวเองเคยสร้างแล้วถูกนับว่าถูกทั้งหมด สำหรับผู้อ่านที่นำตารางไปเลือกเครื่องมือ แกนสำคัญยังคงเป็นผลจากเสียงเดียวกันและบทอ้างอิงเดียวกันภายในแต่ละแถว

ค่า CER ที่ต่ำกว่าไม่ได้หมายความว่าทุกคลิปของระบบนั้นดีกว่าอีกระบบ หากคลิปยาวบางคลิปถอดได้ดีมากก็อาจดึงผลรวมลง ขณะที่คลิปสั้นหลายคลิปยังมีปัญหา สำหรับงานที่ใช้ข้อความเป็นรายสายหรือรายวิดีโอ ควรดูจำนวนคลิปที่ระบบทำได้ดีกว่าอีกตัวควบคู่กับค่า CER รวม ข้อสังเกตนี้ไม่ได้เปลี่ยนผลในตาราง แต่ทำให้เห็นว่าคะแนนก้อนเดียวอาจซ่อนประสบการณ์ของผู้ใช้ที่ต้องเปิดข้อความทีละรายการ

สภาพเสียงกำหนดว่าคะแนนสาธารณะใช้กับงานใดได้

เสียงอ่านมักมีถ้อยคำเตรียมไว้ก่อน ส่วนเสียงพูดตามธรรมชาติอาจมีการหยุดคิด พูดซ้ำ หรือเปลี่ยนประโยคกลางทาง ความต่างนี้กระทบทั้งสิ่งที่ระบบได้ยินและสิ่งที่ผู้ถอดอ้างอิงต้องตัดสินใจว่าจะเขียนอย่างไร ดังนั้นคะแนนจาก Common Voice หรือ FLEURS จึงเหมาะกับการประเมินงานเสียงอ่านมากกว่าการแทนงานสายสนทนาหรือสัมภาษณ์โดยตรง

คลิปจากวิดีโอก็ไม่ได้เท่ากับเสียงของทุกองค์กร วิดีโอที่มีผู้พูดชัดเจนอาจต่างจากสายโทรศัพท์ที่บีบอัดเสียง หรือการประชุมที่หลายคนพูดทับกัน แม้ทั้งหมดจะเป็นภาษาไทยเหมือนกัน หากงานจริงมีเสียงแทรกเป็นประจำ ควรให้กลุ่มนั้นปรากฏในชุดทดสอบและรายงานผลแยก ไม่ปล่อยให้คลิปสะอาดจำนวนมากกลบปัญหา

ความยาวของคลิปและวิธีตัดช่วงเสียงมีผลต่อสิ่งที่ระบบได้รับด้วย หากระบบหนึ่งได้เสียงเต็มประโยค แต่อีกระบบได้ช่วงสั้นที่ตัดต้นคำออก การวัดจะกลายเป็นการเปรียบเทียบขั้นตอนเตรียมไฟล์ ไม่ใช่ความสามารถถอดเสียงล้วน ๆ ในการทดลองขององค์กรควรกำหนดไฟล์ต้นทาง จุดเริ่มและจบของคลิป รูปแบบเสียง และเงื่อนไขส่งงานให้ตรงกันก่อนอ่านอันดับ

ผลสามแถวบอกทิศทางเดียวกันสำหรับ Whisper large-v3 กับ Google USM Chirp v2 ในการทดลองดังกล่าว แต่ขนาดความต่างไม่ได้คงที่ การตัดสินใจจาก FLEURS เพียงแถวเดียวจึงอาจให้น้ำหนักกับความสามารถรับมือเสียงอ่านชุดนั้นมากเกินไป ขณะที่งานบรรยายวิดีโอหรือถอดสายสนทนาต้องเผชิญคำพูดและเสียงรบกวนอีกแบบ

เสียงที่ขาดหายเป็นคนละปัญหากับการสะกดผิดทีละตัวอักษร หากคลิปมีประโยคยาวแล้วผลถอดว่างไปครึ่งหนึ่ง CER จะสูงจากการลบอักขระจำนวนมาก แต่คะแนนรวมไม่ได้บอกว่าช่วงที่หายมีคำสำคัญอะไรอยู่ การตรวจช่วงเงียบผิดปกติจึงควรจับคู่ตำแหน่งคลิปกับบทอ้างอิง แล้วฟังกลับเฉพาะจุด ไม่จำเป็นต้องไล่ฟังทุกคลิปตั้งแต่ต้นเมื่อรู้แล้วว่าความผิดพลาดกระจุกอยู่ตรงไหน

ชนิดเสียงที่ใช้ตัดสินใจควรกำหนดตามปลายทางด้วย งานทำคำบรรยายอาจรับการปรับรูปเขียนบางอย่างได้ แต่เสียหายเมื่อประโยคหายทั้งช่วง งานค้นหาสายสนทนาอาจยอมรับคำเชื่อมผิด แต่ต้องรักษาชื่อสินค้าและรหัสที่ใช้ค้น งานสรุปการประชุมอาจต้องรู้ว่าใครพูดทับใครก่อนถอดคำให้ถูก ความสำคัญของข้อผิดพลาดจึงไม่เท่ากัน แม้ค่า CER ต่อคลิปจะเท่ากัน

ในการจัดกลุ่มเสียง ควรแยกปัญหาที่เกิดจากเนื้อหากับปัญหาที่เกิดจากการบันทึกเสียง ตัวอย่างเช่น ชื่อภาษาอังกฤษกลางประโยคอาจยากเพราะระบบต้องเลือกรูปเขียน ขณะที่เสียงคนพูดเบาหรือเสียงทับกันทำให้คำไทยทั่วไปหายได้ การรวมทุกกรณีเป็นกลุ่มเสียงยากเดียวกันจะบอกไม่ได้ว่าควรแก้ด้วยการเลือกโมเดล การเปลี่ยนวิธีบันทึก หรือการปรับกติกาบทอ้างอิง ข้อมูลกำกับคลิปอย่างแหล่งเสียงและชนิดความยากจึงมีประโยชน์ต่อการตีความคะแนน

คำอังกฤษปนไทยทำให้ผู้ชนะด้าน CER ไม่ชนะทุกงาน

บอร์ดทดสอบเสียงไทยของ Daslab ใช้คลิปเสียงอ่าน FLEURS หกคลิปและกติกาคิดคะแนนเดียวกัน Thonburian large-v3 ได้ CER 6.9% แต่เก็บคำอังกฤษจากบทอ้างอิงได้ 0% ส่วน Whisper large-v3 ได้ CER 9.0% และเก็บคำอังกฤษได้ 50% ผลนี้ชี้ว่าระบบซึ่งผิดอักขระรวมน้อยกว่าอาจทำข้อมูลภาษาอังกฤษกลางประโยคหายมากกว่า

ค่าการเก็บคำอังกฤษวัดว่าคำภาษาอังกฤษในบทอ้างอิงยังปรากฏอยู่ในผลถอดหรือไม่ จึงถามคนละเรื่องกับ CER ซึ่งนับความต่างของอักขระทุกตัวรวมกัน ชื่อผลิตภัณฑ์ภาษาอังกฤษหนึ่งชื่ออาจมีความสำคัญต่อการค้นหาหรือจับคู่ข้อมูลมากกว่าคำเชื่อมภาษาไทยหลายคำ แม้ผลผิดพลาดด้านชื่อจะเพิ่ม CER เพียงบางส่วนก็ตาม

สมมติว่าประโยคในสายบริการลูกค้าพูดชื่อรุ่นสินค้าภาษาอังกฤษและตามด้วยรายละเอียดภาษาไทย หากระบบหนึ่งเก็บส่วนภาษาไทยได้ตรงกว่า แต่ลบชื่อรุ่นหรือถอดเป็นคำไทยที่ออกเสียงคล้ายกัน ผู้ใช้จะค้นหารายการสายนั้นด้วยชื่อรุ่นไม่ได้ นี่เป็นตัวอย่างสมมติของต้นทุนข้อผิดพลาด ไม่ใช่ผลทดลองที่ระบุว่า Whisper หรือ Google ทำเช่นนั้นกับคลิปเฉพาะ

ตัวเลขชุดนี้มาจากคลิปเสียงอ่านขนาดเล็กและเปรียบเทียบ Whisper กับ Thonburian รวมถึงระบบอื่น โดยไม่มี Google USM Chirp v2 ในรายการ จึงใช้ตอบคำถามเรื่องการรักษาคำอังกฤษและข้อจำกัดของคะแนนรวมได้ แต่ใช้แทนผลเทียบ Whisper กับ Google ไม่ได้ อีกทั้งค่า CER ของ Whisper บนคลิป FLEURS กลุ่มนี้ก็ไม่ใช่แถว FLEURS ทั้งชุดในงาน GigaSpeech 2 เพราะจำนวนคลิปและกติกาให้คะแนนต่างกัน

สำหรับเสียงไทยที่สลับภาษาอยู่บ่อย ควรแยกคำอังกฤษทั่วไปออกจากชื่อที่ต้องสะกดตรง เช่น ชื่อแบรนด์ ชื่อบุคคล รหัสสินค้า หรือคำค้นสำคัญ กำหนดรายการเหล่านี้จากบทอ้างอิงก่อนเปิดดูผลของระบบ แล้วนับว่าคำใดคงอยู่ คำใดสะกดผิด และคำใดหายไปทั้งหมด วิธีนี้ลดโอกาสเลือกตัวอย่างที่เข้าข้างผลลัพธ์ที่ชอบภายหลัง

คำอังกฤษยังมีหลายรูปแบบในภาษาไทย บางคำผู้พูดออกเสียงแบบอังกฤษ บางคำเป็นคำทับศัพท์ที่คนไทยใช้จนมีรูปเขียนไทยประจำ และบางคำเป็นชื่อเฉพาะที่ต้องใช้ตัวสะกดตามระบบภายนอก ก่อนนับอัตราการเก็บคำอังกฤษควรกำหนดว่ารับรูปทับศัพท์หรือไม่ การยอมให้รูปทับศัพท์ผ่านอาจเหมาะกับคำทั่วไป แต่ไม่เหมาะกับชื่อผลิตภัณฑ์ที่ต้องค้นด้วยการสะกดตรงกัน มิฉะนั้นคะแนนรักษาคำจะสื่อคนละความหมายกับงานจริง

การวัดคำสำคัญควรเก็บทั้งจำนวนที่ปรากฏในบทอ้างอิงและจำนวนที่ถอดตรง หากคลิปหนึ่งมีคำอังกฤษเพียงคำเดียว การถอดถูกหรือผิดจะทำให้อัตราเปลี่ยนมากและไม่ควรตีความเหมือนผลจากคลิปที่มีคำจำนวนมาก การแยกกลุ่มเป็นชื่อบุคคล ชื่อสินค้า ตัวย่อ และศัพท์งานยังช่วยบอกว่าระบบพลาดตรงไหน ข้อความปลายทางที่ใช้ค้นหาอาจให้ความสำคัญกับชื่อสินค้าเหนือศัพท์ทั่วไป แม้ทั้งคู่จะเป็นอักษรละติน

อีกความต่างหนึ่งคือคำที่ฟังเหมือนกันอาจเขียนได้หลายแบบ โดยเฉพาะชื่อย่อและคำเทคนิค หากบทอ้างอิงใช้ตัวอักษรอังกฤษ แต่ผลถอดใช้คำทับศัพท์ไทย CER จะนับต่างกันมาก แม้คนอ่านอาจเข้าใจเสียงเดียวกัน การประเมินควรแยกความถูกต้องตามเสียงกับความถูกต้องตามรูปเขียนที่ระบบปลายทางต้องการ งานค้นข้อมูลมักต้องการรูปสะกดที่กำหนด ส่วนงานอ่านใจความอาจยอมรับคำทับศัพท์บางคำได้ โดยกติกาต้องประกาศก่อนให้คะแนน

กติกา normalize เปลี่ยนความหมายของ CER

คู่มือวัดความแม่นยำของ Google Cloud ให้เทียบผลถอดกับบทอ้างอิงที่มนุษย์ตรวจ ปรับข้อความทั้งสองฝั่งก่อนคำนวณ WER โดยตัดเครื่องหมายวรรคตอนและไม่แยกตัวพิมพ์ใหญ่เล็ก อีกทั้งแนะนำให้เลือกเสียงตัวอย่างจากสภาพแวดล้อมใช้งานจริง โดยระบุเวลาเสียงสำหรับประเมินอย่างน้อย 30 นาที และช่วงแนะนำ 30 นาทีถึง 3 ชั่วโมง

เมื่อนำหลักการเดียวกันมาใช้กับ CER หน่วยนับเปลี่ยนจากคำเป็นอักขระ สูตรคือจำนวนอักขระที่แทนผิด บวกอักขระที่ขาดและอักขระที่เพิ่ม แล้วหารด้วยจำนวนอักขระในบทอ้างอิงหลังปรับข้อความ ตัวหารต้องเป็นข้อความอ้างอิงเดียวกันสำหรับระบบทุกตัวในคลิปเดียวกัน จึงแปลคะแนนเป็นสัดส่วนความต่างได้อย่างเที่ยงตรง

ภาษาไทยไม่มีช่องว่างคั่นทุกคำเหมือนภาษาอังกฤษ การใช้ WER ต้องเลือกระบบตัดคำ ซึ่งอาจตัดชื่อเฉพาะหรือคำทับศัพท์ไม่เหมือนกัน CER เลี่ยงปัญหาตัวตัดคำ แต่ไม่ได้เลี่ยงการตัดสินใจเรื่องรูปเขียนทั้งหมด ช่องว่าง เครื่องหมายวรรคตอน ตัวเลขไทยกับอารบิก อักษรอังกฤษตัวใหญ่เล็ก และรูปแบบ Unicode ล้วนเปลี่ยนสิ่งที่ตัวนับถือว่าเหมือนกัน

เช่น ในตัวอย่างสมมติ บทอ้างอิงใช้ “API” แต่ผลถอดใช้ “api” หากกติกาไม่สนตัวพิมพ์ ทั้งคู่จะตรงกัน หากงานต้องส่งข้อความที่รักษารูปสะกดตามคู่มือแบรนด์ ก็ควรดูผลดิบเพิ่มอีกชั้น ส่วน “๓” กับ “3” จะถูกนับต่างกันหรือเหมือนกันขึ้นอยู่กับการแปลงเลขที่ตกลงไว้ก่อน กติกาที่เปลี่ยนหลังเห็นคะแนนสามารถพลิกอันดับที่สูสีกันได้

การทดสอบเสียงอ่านดังกล่าวใช้การปรับ Unicode แบบ NFC เปลี่ยนอังกฤษเป็นตัวพิมพ์เล็ก แปลงเลขไทยเป็นอารบิก และตัดช่องว่างกับเครื่องหมายวรรคตอนออกก่อนวัด ตัวเลือกเหล่านี้มีเหตุผลสำหรับการวัดเสียงอ่าน แต่หากองค์กรต้องรักษาการเว้นวรรคสำหรับคำบรรยาย หรือรักษารูปชื่อแบรนด์ ควรเก็บผลดิบไว้ข้างผลที่ normalize แล้วเพื่อเห็นต้นทุนแก้ไขจริง อย่าแปลงคำอังกฤษเป็นไทยหรือทิ้งตัวอักษรละตินถ้ากำลังวัดว่าระบบเก็บคำอังกฤษได้หรือไม่

คะแนนความเชื่อมั่นที่ API ส่งกลับก็ไม่ใช่คะแนนความถูกต้องเมื่อเทียบกับบทอ้างอิง มันสะท้อนความน่าจะเป็นของคำตอบตามระบบ ขณะที่ WER หรือ CER ต้องรู้ว่าผู้พูดพูดอะไรจริง คำที่พบบ่อยอาจได้ความเชื่อมั่นสูงทั้งที่ผิด และชื่อเฉพาะที่ถอดถูกอาจได้ความเชื่อมั่นต่ำ การใช้ความเชื่อมั่นแทน CER จึงตอบคำถามเลือกตัวถอดเสียงไทยผิดชนิด

กติกาอ้างอิงต้องบอกด้วยว่าจะเขียนเสียงลังเล คำพูดซ้ำ และเสียงที่ฟังไม่ออกอย่างไร หากคนทำบทอ้างอิงลบคำว่า “เอ่อ” แต่ระบบถอดไว้ ระบบจะถูกนับว่าเพิ่มข้อความ ทั้งที่อาจจับเสียงได้จริง ตรงข้าม หากบทอ้างอิงเก็บคำซ้ำทุกครั้ง แต่ผู้ตรวจผลลบออกหลังถอด CER จะดูดีเกินจริง การตัดสินเช่นนี้ควรทำก่อนรู้ว่าระบบใดให้ผลอย่างไร แล้วใช้เหมือนกันกับทุกคลิป

การรายงาน CER เพียงค่าเดียวอาจซ่อนรูปแบบการผิดต่างกัน ระบบที่เพิ่มคำเล็กน้อยหลายแห่งอาจได้ตัวเลขใกล้กับระบบที่ลบประโยคสำคัญหนึ่งประโยค แต่ภาระแก้ไขไม่เท่ากัน จึงควรแยกจำนวนการแทน การลบ และการเพิ่มอักขระอย่างน้อยในกลุ่มคลิปที่ใช้ตัดสินใจ พร้อมเก็บข้อความดิบไว้ ผู้ตรวจจะได้แยกความผิดจากการจำเสียงผิด ออกจากความผิดที่เกิดจากขั้นตอนปรับข้อความหรือการตัดคลิป

เมื่อใช้ผลจาก API ควรตรวจด้วยว่าคำตอบว่างหรือคำขอที่ล้มเหลวถูกนับอย่างไร หากลบคลิปที่ระบบหนึ่งถอดไม่ได้ออกจากคะแนนโดยไม่บอก ผลจะดูดีขึ้นเพราะตัวอย่างยากหายจากตัวหาร วิธีที่ตรงไปตรงมาคือรายงานจำนวนคลิปที่ส่งสำเร็จ จำนวนคลิปที่ไม่มีข้อความ และค่า CER ของคลิปที่ประเมินได้แยกกัน การถอดไม่สำเร็จเป็นข้อมูลเกี่ยวกับการใช้งานจริง แม้ไม่ควรปนกับคะแนนความถูกต้องของข้อความที่ได้รับ

ควรระวังการคำนวณคะแนนเฉลี่ยรายคลิปด้วย หากคลิปสั้นมากกับคลิปยาวได้รับน้ำหนักเท่ากัน ค่าเฉลี่ยอาจสะท้อนจำนวนไฟล์มากกว่าปริมาณคำพูด การรวมจำนวนอักขระผิดทั้งหมดแล้วหารจำนวนอักขระอ้างอิงทั้งหมดให้คำตอบอีกแบบ และมักเหมาะกับคำถามว่าต้องแก้ข้อความมากเท่าใดในชุดเสียงนี้ ส่วนคะแนนรายคลิปเหมาะกับคำถามว่าผู้ใช้จะเจอไฟล์ที่แย่บ่อยแค่ไหน การรายงานทั้งคู่ช่วยอ่านผลโดยไม่ซ่อนคลิปปลายสุด

ขั้นตอน normalize ควรทำสำเนาข้อความ ไม่แก้ผลดิบทิ้ง เพราะเมื่อเห็นข้อผิดพลาดจากชื่อเฉพาะ ผู้ตรวจอาจต้องกลับไปถามว่าระบบถอดผิดจริงหรือกติกาเปลี่ยนรูปเขียน ความต่างระดับสัญลักษณ์บางแบบควรถูกละในการวัดความเข้าใจเสียง แต่ความต่างเดียวกันอาจสำคัญสำหรับงานที่ต้องส่งข้อความตรงตามระบบบัญชีหรือฐานข้อมูล การเก็บผลทั้งสองชั้นทำให้ไม่ต้องเลือกระหว่างคะแนนที่ยุติธรรมกับร่องรอยการทำงานจริง

WER นับคำ แต่ตารางภาษาไทยข้างต้นรายงาน CER ซึ่งนับอักขระ จึงไม่ควรนำค่าจากมาตรวัดสองชนิดมาวางเป็นอันดับเดียวกัน แม้ชื่อทั้งคู่จะมีคำว่าอัตราความผิดพลาดเหมือนกัน สำหรับภาษาไทย การกำหนดตัวตัดคำเพิ่มขึ้นทำให้ WER ขึ้นกับวิธีแบ่งข้อความอีกชั้น หากเป้าหมายคือเทียบผลที่ทำซ้ำได้ง่าย CER พร้อมกติกา normalize ที่เปิดเผยจะให้ฐานเปรียบเทียบตรงกว่า และใช้การตรวจคำสำคัญชดเชยสิ่งที่การนับอักขระมองไม่เห็น

แม่แบบชุดทดสอบจากเสียงจริงขององค์กร

ชุดทดสอบที่ใช้เลือกบริการควรสะท้อนงานที่ต้องส่งมอบ ไม่ใช่เพียงสุ่มคลิปที่เปิดหาได้ง่าย เริ่มจากระบุว่าต้องถอดเสียงประเภทใด เช่น สายลูกค้า บทสัมภาษณ์ คลิปวิดีโอ หรือการประชุม แล้วกำหนดผลลัพธ์ที่ยอมรับได้ เช่น ข้อความค้นหาได้ คำบรรยายอ่านรู้เรื่อง หรือบันทึกชื่อสินค้าได้ตรง เงื่อนไขเหล่านี้เป็นเกณฑ์ของงาน ไม่ใช่คุณสมบัติที่คะแนนสาธารณะกำหนดแทนได้

1. เลือกคลิปตามงาน: เก็บเสียงจากช่องทางบันทึกที่ใช้งานจริงและสุ่มจากช่วงเวลาหรือประเภทงานที่ต่างกัน แยกกลุ่มเสียงสะอาด เสียงรบกวน เสียงพูดทับกัน และเสียงที่สลับภาษา ระบุว่ากลุ่มใดพบมากในงานจริงเพื่อไม่ให้ผลรวมเอนตามคลิปที่หยิบมาสะดวก
2. ทำบทอ้างอิง: ให้ผู้ฟังตรวจเสียงต้นฉบับและแก้ข้อความจนตรงกันในกติกาการเขียนชื่อคน ชื่อสินค้า ตัวเลข คำย่อ และเสียงลังเล เมื่อฟังไม่ออกให้ทำเครื่องหมายช่วงที่ไม่ชัดเจนและตัดสินวิธีจัดการก่อนเห็นผลระบบ หากให้ผู้ตรวจเติมคำจากบริบทเอง บทอ้างอิงอาจกลายเป็นคำตอบที่เสียงไม่ได้ให้ไว้
3. ตรึงรุ่นและการตั้งค่า: บันทึกชื่อรุ่น ภาษา โหมดถอดเสียง วิธีแบ่งคลิป การปรับระดับเสียง และการใช้คำศัพท์เฉพาะ ส่งเสียงต้นฉบับช่วงเดียวกันให้ทุกระบบ หากเปิดการช่วยจำคำศัพท์ให้บริการหนึ่ง แต่ไม่เปิดความสามารถเทียบเท่าให้อีกบริการ ต้องระบุชัดว่ากำลังเทียบการตั้งค่าที่ต่างกัน
4. คิดคะแนนสองชั้น: ใช้กติกา normalize เดียวกันกับบทอ้างอิงและผลถอดทุกชุด คิด CER แยกตามชนิดเสียง แล้วตรวจคำอังกฤษ ชื่อเฉพาะ และช่วงที่ข้อความหายไป เก็บตัวอย่างข้อผิดพลาดที่ต้องแก้ด้วยมือเพื่อให้เห็นว่าคะแนนต่างกันเพราะอะไร
5. เก็บผลให้ตรวจย้อน: หนึ่งคลิปควรมีรหัส แหล่งเสียง ความยาว กลุ่มสภาพเสียง บทอ้างอิง ผลดิบของแต่ละระบบ ข้อความหลัง normalize และจำนวนอักขระที่เพิ่ม ลบ หรือแทน การเก็บครบทำให้เปลี่ยนกติกาให้คะแนนในภายหลังได้โดยไม่ต้องอ้างความทรงจำหรือวัดจากภาพรวมอย่างเดียว

สำหรับการตรวจช่วงข้อความหายไป ให้กำหนดช่วงเสียงตามเวลาไว้ในข้อมูลคลิป แล้วเทียบผลถอดกับบทอ้างอิงเฉพาะช่วงนั้น หากผลลัพธ์ไม่มีคำพูดทั้งที่บทอ้างอิงมีประโยคชัดเจน ควรบันทึกเป็นกรณีลบข้อความ ไม่ใช่แค่ทำเครื่องหมายว่า CER สูง การแยกกรณีถอดผิดเป็นคำอื่นออกจากกรณีไม่มีข้อความช่วยชี้ปัญหาคนละแบบ และยังทำให้เห็นว่าเหตุใดเสียงสองคลิปที่ได้คะแนนใกล้กันจึงใช้เวลาแก้ด้วยมือไม่เท่ากัน

หากคลิปบางกลุ่มมีน้อยจนผลเปลี่ยนตามเสียงเพียงไฟล์เดียว ให้รายงานจำนวนคลิปและปริมาณเสียงในกลุ่มนั้นควบคู่กับ CER และอย่าใช้ผลกลุ่มเล็กเป็นข้อสรุปเด็ดขาด กลุ่มคำอังกฤษปนเสียงควรถูกเก็บไว้แม้มีสัดส่วนน้อยในงานทั้งหมด ถ้าคำเหล่านั้นเป็นข้อมูลที่ค้นหา จัดหมวดหมู่ หรือส่งต่อให้ระบบอื่น

การสุ่มตัวอย่างควรป้องกันไม่ให้ผู้พูดคนเดียวหรือรายการเดียวครองทั้งชุด หากคลิปจำนวนมากถูกตัดมาจากไฟล์ต้นฉบับเดียวกัน ผลอาจดูเสถียรทั้งที่แทบไม่ได้ทดสอบความหลากหลายของผู้พูด ควรบันทึกแหล่งคลิปและแบ่งกลุ่มตามผู้พูดหรือรายการเท่าที่ทำได้ แล้วดูว่าคะแนนที่ต่างกันยังอยู่หรือไม่เมื่อเปลี่ยนกลุ่มเสียง การเลือกช่วงที่มนุษย์ฟังง่ายที่สุดอย่างเดียวจะทำให้ปัญหาของคลิปยากถูกประเมินต่ำไป

บทอ้างอิงที่ดีต้องเป็นมาตรฐานเดียวกันตลอดชุดเสียง หากผู้ตรวจสองคนฟังชื่อเฉพาะไม่ตรงกัน อย่าเลือกคำที่เข้ากับระบบใดระบบหนึ่งโดยไม่กลับไปฟังเสียงต้นฉบับ กรณีที่ฟังไม่ออกจริงควรมีสถานะเฉพาะและกติกาว่าจะนับหรือกันช่วงนั้นออกจากการให้คะแนน การกันออกต้องทำเหมือนกันกับทั้งสองระบบและบันทึกไว้ เพราะการคงคำเดาไว้เป็นคำตอบที่ถูกต้องจะทำให้ CER วัดความเห็นของผู้ตรวจมากกว่าความสามารถของตัวถอดเสียง

ผลที่นำไปใช้เลือกควรแสดงทั้งคะแนนรวมและคะแนนรายกลุ่มพร้อมจำนวนคลิปและความยาวเสียง ไม่เช่นนั้นกลุ่มที่ดูเหมือนมี CER ต่ำกว่าอาจมีตัวอย่างเพียงเล็กน้อยและถูกคลิปหนึ่งดึงคะแนนไปมาก การใส่คอลัมน์คำสำคัญที่ถอดตรง ช่วงเสียงที่หาย และหมายเหตุงานแก้มือทำให้เห็นต้นทุนที่การนับอักขระไม่ครอบคลุม ชุดข้อมูลเดียวกันยังใช้ทดสอบอีกครั้งหลังเปลี่ยนรุ่นหรือการตั้งค่า โดยระบุความเปลี่ยนแปลงของระบบทุกครั้ง

ในการตรึงเงื่อนไข ต้องระวังสิ่งที่ดูเหมือนเป็นรายละเอียดเล็กน้อย เช่น ระบบหนึ่งใช้การระบุภาษาไทยชัดเจน แต่อีกระบบปล่อยให้เดาภาษาเอง หรือระบบหนึ่งได้รับรายการคำเฉพาะก่อนถอด ข้อมูลช่วยเหล่านี้อาจเปลี่ยนผลโดยไม่เกี่ยวกับตัวโมเดลพื้นฐาน หากองค์กรตั้งใจใช้ความสามารถเสริมจริง ก็ควรวัดการตั้งค่านั้น แต่ให้บอกว่ากำลังเปรียบเทียบระบบพร้อมการตั้งค่าที่จะใช้งาน ไม่ใช่ชื่อรุ่นลอย ๆ

รายการคลิปที่ทดสอบควรมีทั้งตัวอย่างที่พบบ่อยและกรณีที่ผิดแล้วกระทบงานมาก โดยไม่ให้กรณีหลังถูกทำให้หายไปในคะแนนรวม หากสายสนทนาที่มีชื่อสินค้าเป็นส่วนน้อยของปริมาณงาน แต่ใช้เพื่อเปิดเคสหรือค้นประวัติลูกค้า การเก็บผลแยกเฉพาะกลุ่มนี้จะตอบคำถามได้ตรงกว่าเกณฑ์รวมเดียว ผู้ตัดสินยังเห็นได้ว่าระบบที่ชนะเสียงส่วนใหญ่มีข้อยกเว้นซึ่งต้องวางกระบวนการแก้มือ

หากจะลองปรับคำศัพท์หรือวิธีตัดเสียงหลังเห็นผลรอบแรก ควรเก็บคลิปอีกส่วนไว้สำหรับตัดสินครั้งสุดท้าย มิฉะนั้นการแก้ตั้งค่าให้เข้ากับตัวอย่างเดิมอาจทำให้คะแนนดีขึ้นเฉพาะคลิปที่เคยเห็น การแบ่งเสียงสำหรับทดลองปรับกับเสียงสำหรับตัดสินไม่ได้ต้องใช้ชุดใหญ่เสมอไป แต่ต้องบอกให้ชัดว่าเสียงส่วนใดใช้เลือกการตั้งค่า และส่วนใดใช้ตรวจผลเมื่อการตั้งค่านั้นถูกตรึงแล้ว วิธีนี้รักษาความหมายของคำว่าเทียบบนเสียงเดียวกัน

อ่านผลเพื่อเลือก Whisper หรือ Google

ให้เริ่มจาก CER ของแต่ละกลุ่มเสียง ไม่ใช่การเฉลี่ยเปอร์เซ็นต์ของทุกกลุ่มแบบให้น้ำหนักเท่ากัน หากต้องรวมคะแนน ควรรวมจำนวนอักขระที่ผิดจากทุกคลิปแล้วหารด้วยจำนวนอักขระอ้างอิงทั้งหมด หรือกำหนดน้ำหนักตามสัดส่วนงานจริงล่วงหน้า วิธีแรกบอกความผิดพลาดรวมของชุดทดสอบ วิธีหลังสะท้อนภาระงานที่องค์กรคาดว่าจะพบ

จากนั้นดูข้อผิดพลาดที่คะแนนรวมไม่บอก เช่น ชื่อรุ่นหายทั้งคำ ช่วงสนทนาถูกข้าม หรือข้อความอังกฤษกลายเป็นคำไทยที่ค้นกลับไม่ได้ ถ้าระบบที่ CER ต่ำกว่าเสียข้อมูลที่งานต้องใช้ อันดับด้านความแม่นยำรวมก็ไม่ใช่อันดับด้านประโยชน์ใช้งาน การตัดสินควรระบุเกณฑ์ก่อนดูผล เช่น ห้ามชื่อสินค้าสำคัญหาย แล้วเทียบว่าระบบใดผ่านเกณฑ์นั้น

หากผลสองระบบใกล้กัน ควรกลับไปดูคลิปที่ทำให้อันดับเปลี่ยนและตรวจว่าเป็นความต่างที่เกิดซ้ำในเสียงประเภทเดียวกันหรือเป็นเพียงตัวอย่างเฉพาะ คลิปที่มีชื่อสินค้าผิดจำนวนหนึ่งอาจมีน้ำหนักต่อการตัดสินมากกว่าความต่าง CER เล็กน้อยในเสียงอ่านทั่วไป ตรงกันข้าม ถ้างานมีเสียงอ่านจำนวนมากและแทบไม่มีชื่อเฉพาะ ผล CER รวมอาจสอดคล้องกับภาระแก้ไขมากกว่า เกณฑ์จึงควรมาจากสิ่งที่องค์กรต้องใช้ข้อความไปทำต่อ

เมื่อเปลี่ยนรุ่นโมเดล ภาษาเริ่มต้น หรือวิธีแบ่งเสียง ผลจากรอบเก่าไม่ควรถูกนำมาเทียบกับรอบใหม่ราวกับระบบไม่เปลี่ยน การเก็บชุดทดสอบและบทอ้างอิงไว้ทำให้ประเมินซ้ำด้วยเงื่อนไขเดิมได้ แต่หากลักษณะงานเปลี่ยน เช่น จากเสียงอ่านเป็นสายสนทนา ก็ต้องเพิ่มเสียงของงานใหม่ด้วย ผลคะแนนจึงจะยังตอบคำถามเดียวกับที่ผู้ใช้ต้องการตัดสินใจ

หากคะแนนออกมาใกล้กันมาก ให้พิจารณาความแน่นของข้อสรุปจากการกระจายคลิป ไม่ใช่ดูเพียงทศนิยมของ CER การแบ่งผลตามผู้พูด ช่องทางบันทึก และคำอังกฤษปน จะบอกว่าความได้เปรียบเกิดซ้ำในสภาพที่พบจริงหรือไม่ หากอันดับสลับไปมาโดยคลิปไม่กี่ชิ้น ควรเพิ่มตัวอย่างประเภทนั้นก่อนตัดสิน แต่ถ้าระบบหนึ่งได้เปรียบสม่ำเสมอทั้งคลิปทั่วไปและคลิปที่มีต้นทุนผิดสูง เหตุผลด้านความแม่นยำก็ชัดขึ้น

ผลต่างที่สำคัญในเชิงงานอาจไม่ได้เป็นผลต่างที่มากที่สุดทางตัวเลขเสมอไป หากคลิปหนึ่งมีชื่อเฉพาะเพียงคำเดียวและระบบทำคำนั้นหาย ความเสียหายต่อการค้นข้อมูลอาจสูงกว่าคลิปที่มีคำทั่วไปผิดหลายตัว จึงควรอ่านตัวอย่างผลถอดประกอบคะแนน โดยเฉพาะคลิปที่คำตอบของสองระบบต่างกันมาก การบันทึกเหตุผลว่าข้อผิดพลาดใดต้องแก้มือทำให้การเลือกตรวจสอบย้อนหลังได้เมื่อปริมาณเสียงหรือประเภทงานเปลี่ยน

ตารางตัดสินใจภายในจึงควรมีช่องชนิดเสียง ผล CER ของแต่ละระบบ จำนวนคลิปที่ประเมิน คำสำคัญที่ถูกเก็บ และลักษณะความผิดที่ต้องแก้ หากระบบหนึ่งชนะในเสียงอ่านแต่แพ้ในสายโทรศัพท์ ผู้ใช้จะเห็นทันทีว่าควรเลือกตามงานใด ไม่ต้องอาศัยค่าเฉลี่ยรวมที่ทำให้ความต่างสองทิศทางหายไป การบันทึกรุ่นและกติกาให้คะแนนไว้กับตารางเดียวกันยังช่วยไม่ให้ผลคนละรอบถูกอ้างเป็นการทดลองเดียว และทำให้เห็นว่าความต่างเกิดจากเสียง รุ่น หรือวิธีนับคะแนน เมื่อข้อมูลครบ การตรวจซ้ำจะไม่ต้องเดาว่าใช้คลิปใดและตั้งค่าอย่างไร ผลจึงตรวจสอบได้ หากทีมเปลี่ยนผู้ประเมินในภายหลัง ข้อมูลเดิมยังช่วยให้เห็นตรงกันว่าอะไรคือคำตอบอ้างอิง และคลิปใดเป็นข้อยกเว้น การตัดสินใจจึงมีร่องรอย

เมื่อผลจากเสียงอ่านและสายโทรศัพท์ชี้คนละทาง การใช้ระบบเดียวสำหรับทุกช่องทางอาจเพิ่มงานแก้มือโดยไม่จำเป็น องค์กรสามารถเลือกระบบตามประเภทเสียงที่แยกได้ตั้งแต่รับไฟล์ หากจำเป็นต้องใช้เพียงระบบเดียว ให้กำหนดน้ำหนักตามปริมาณงานและความเสียหายจากคำสำคัญที่ผิดก่อนตัดสิน เพื่อให้ผู้ชนะในชุดทดสอบตรงกับงานที่ข้อความต้องทำต่อ

อ่านเพิ่มเติม:

• ElevenLabs หรือ Google Cloud TTS: เสียงไทยอาจต่างกันเกิน 3 เท่า
• Grafana Cloud หรือ Datadog: ถูกกว่าสามเท่าอาจต้องแลกเวลาดูแล