FPT.AI hay Google Speech-to-Text: tiếng Việt cần đo bằng WER

Không có cơ sở để chọn mặc định FPT.AI hay Google Speech-to-Text là dịch vụ chính xác hơn cho mọi bản ghi tiếng Việt. Với tổng đài, kho ghi âm hoặc phụ đề, cách chọn đáng tin cậy là đo tỷ lệ lỗi từ (WER) của hai dịch vụ trên cùng âm thanh và bản chép chuẩn, rồi so chi phí trong đúng luồng xử lý sẽ sử dụng.

Một dịch vụ có WER thấp hơn trên bản ghi rõ tiếng có thể gặp khó với cuộc gọi nhiễu hoặc tên riêng. Vì thế, kết quả cần được tách theo loại ghi âm; giá cũng phải tính theo thời lượng thực dùng, số kênh được nhận dạng và mức độ cần kết quả nhanh. Bản demo ngắn chỉ cho thấy đầu ra của chính đoạn âm thanh ấy.

WER cho thấy điều gì trong tiếng Việt?

WER đếm ba loại sai khác giữa bản chép máy và bản chép chuẩn: từ bị thay thế (S), bị bỏ (D) và được chèn thêm (I). Công thức là WER = (S + D + I) / N, với N là số đơn vị từ trong bản chuẩn. Ví dụ giả định: nếu bản chuẩn có 100 đơn vị, máy thay sai 5, bỏ 3 và thêm 2, WER bằng 10%. Chỉ số càng thấp thì hai bản chép càng gần nhau theo quy tắc đếm đã chọn.

Trong nghiên cứu về bản tin tiếng Việt đăng tháng 4/2021, WER trung bình theo câu của hệ thống Fpt và Google được thử lần lượt là 39,25% và 23,08% ở bản tin NS2 nhiều tạp âm; với NS5 có cuộc phỏng vấn qua điện thoại bị nhiễu, hai mức tương ứng là 40,33% và 66,57%. Nghiên cứu dùng các API và mẫu bản tin của giai đoạn đó, nên các con số không phải kết quả thử FPT.AI và Google Speech-to-Text V2 trong cấu hình đang bán.

Sự đảo chiều giữa hai mẫu giải thích vì sao cần chấm trên âm thanh gần với công việc thật. WER cũng không phân biệt một lỗi ở tên khách hàng với một lỗi ở từ ít quan trọng: hai bản chép có cùng điểm vẫn có thể đòi hỏi lượng công sửa khác nhau. Với phụ đề và hồ sơ cuộc gọi, nên đọc riêng những đoạn chứa tên riêng, số tiền hoặc lời nói chồng lấn sau khi đã tính WER chung.

Chuẩn bị bộ ghi âm để phép so sánh có thể lặp lại

Bộ thử nên lấy từ các nguồn mà doanh nghiệp thực sự xử lý, giữ cả đoạn dễ và khó. Tổng đài cần có cuộc gọi qua đường điện thoại, tiếng ồn nền, người nói ngắt lời và tên sản phẩm. Kho ghi âm cần đại diện cho các kiểu micro, định dạng và chất lượng thu thường gặp; phụ đề cần có lời nói nhanh, nhiều người nói và đoạn có nhạc nền. Tách kết quả theo từng nhóm giúp thấy một mức WER trung bình đang che vấn đề nào.

Mỗi tệp cần bản chép chuẩn được người nghe rà soát, thời lượng, nguồn thu, số kênh và nhãn điều kiện âm thanh. Gửi cùng âm thanh cho hai dịch vụ, ghi lại cấu hình nhận dạng và giữ một quy trình chuyển định dạng chung. Nếu một bên nhận tệp đã được lọc nhiễu còn bên kia nhận bản gốc, phần chênh lệch sẽ phản ánh cả khâu chuẩn bị đầu vào.

Trước khi chấm, thống nhất cách xử lý chữ hoa, dấu câu, số viết bằng chữ hay chữ số và cách tách đơn vị từ. Với tiếng Việt, đếm các đơn vị cách nhau bằng khoảng trắng là một quy tắc có thể tái lập, nhưng phải dùng giống nhau cho bản chuẩn và cả hai đầu ra; giữ dấu thanh nếu sai dấu làm đổi nghĩa trong ứng dụng. Báo cáo WER cho toàn bộ tập và cho từng nhóm âm thanh, kèm vài lỗi cụ thể cần sửa bằng tay. Không nên gộp WER trung bình theo câu với WER tính trên toàn bộ số từ rồi xem chúng là cùng một phép đo.

So giá bằng phút sử dụng, phút kênh và thời gian chờ

Bảng giá STT của FPT.AI niêm yết gói 2.000 phút giá 1.400.000 đồng, 5.000 phút giá 3.100.000 đồng và 10.000 phút giá 5.400.000 đồng; nhu cầu trên 10.000 phút cần liên hệ để nhận giá. Giá chia cho số phút trong gói là mức tham chiếu, còn chi phí trên mỗi phút thực dùng sẽ cao hơn nếu không dùng hết lượng đã mua. Khi dự toán, doanh nghiệp cần xác nhận thời hạn gói, cách trừ phút và điều kiện vượt gói.

Theo bảng giá Speech-to-Text của Google Cloud, mức chuẩn khởi điểm của V2 là 0,016 USD mỗi phút âm thanh được xử lý, còn dynamic batch là 0,003 USD mỗi phút; từng kênh được nhận dạng được tính phí riêng và lưu tệp trên Cloud Storage có thể phát sinh phí khác. Bảng giá đo lượng âm thanh xử lý theo từng giây và có các bậc giá theo khối lượng. Vì vậy, phút của tệp và phút kênh tính tiền cần được ghi thành hai cột khác nhau.

Ví dụ giả định, 2.000 phút âm thanh một kênh ở mức giá khởi điểm nêu trên tương ứng 32 USD cho nhận dạng chuẩn hoặc 6 USD cho dynamic batch. Nếu cùng lượng tệp ấy được nhận dạng trên hai kênh độc lập, phép tính thành 4.000 phút kênh, tương ứng 64 USD hoặc 12 USD, chưa tính lưu trữ. Mức batch chỉ hữu ích về chi phí cho phần ghi âm có thể chờ; phần cần văn bản sớm phải được tính theo phương thức đáp ứng thời gian yêu cầu. Khi đặt cạnh gói của FPT.AI, cần cộng chi phí chuyển đổi tệp, lưu trữ và rà soát bản chép, đồng thời tránh coi một tỷ giá quy đổi cố định là báo giá cuối cùng.

API và batch ảnh hưởng thế nào đến luồng xử lý?

Tài liệu API FPT.AI Speech mô tả yêu cầu POST gửi tệp âm thanh trong phần thân, khóa API ở header và phản hồi JSON gồm trạng thái, mã yêu cầu cùng mảng giả thuyết phiên âm. Đây là đầu vào và đầu ra cụ thể để dựng luồng gửi tệp, nhận văn bản và xử lý lỗi. Ví dụ phản hồi trên trang chỉ thể hiện câu được nhận dạng; nếu làm phụ đề, cần kiểm tra riêng dữ liệu thời gian ở cấu hình dự định dùng thay vì suy ra từ ví dụ ấy.

Hướng dẫn batch của Google Cloud dùng tệp âm thanh trên Cloud Storage và cho phép trả kết quả trong phản hồi hoặc ghi ra Cloud Storage; dynamic batching dành cho nhận dạng theo lô với độ trễ cao hơn để giảm giá. Luồng này phù hợp với kho ghi âm có thể xử lý sau, nhưng kéo theo việc quản lý quyền truy cập và vòng đời của tệp lưu trữ. Trong lần thử, thời gian từ lúc gửi đến lúc nhận kết quả và số yêu cầu phải gửi lại cũng là chi phí vận hành cần ghi nhận.

Chọn dịch vụ theo chất lượng bản chép cần dùng

Ngưỡng chấp nhận nên gắn với mục đích của văn bản. Bản chép để tìm kiếm nội bộ có thể chịu được một số lỗi ở đoạn ít được tra cứu; phụ đề xuất bản hoặc hồ sơ cuộc gọi thường cần rà kỹ tên riêng, con số và chỗ nhiều người cùng nói. Cách so hữu ích là tổng chi phí để có một phút bản chép đạt yêu cầu, gồm phí nhận dạng và công sửa, thay vì chỉ nhìn đơn giá hoặc WER trung bình.

Trước khi gửi ghi âm thật, doanh nghiệp còn cần làm rõ nơi xử lý và lưu âm thanh, thời gian lưu, quyền truy cập, cách xóa và điều kiện dùng dữ liệu với từng nhà cung cấp. Dịch vụ phù hợp là dịch vụ đạt ngưỡng lỗi trên chính nhóm ghi âm quan trọng của doanh nghiệp, đáp ứng thời gian trả kết quả và có tổng chi phí chấp nhận được trong luồng vận hành ấy.

Đọc thêm:

• Google Workspace hay Microsoft 365: rẻ hơn chưa chắc giảm tổng chi phí
• Khi thuật toán làm sếp: bốn câu hỏi nhân viên cần được trả lời
• CV PDF hay DOCX: hãy để hệ thống tuyển dụng quyết định định dạng