VMLU hay V-Bench: chọn đúng phép đo mô hình tiếng Việt

Nếu cần chọn mô hình cho câu hỏi kiến thức, đọc tài liệu, suy luận hoặc hội thoại tiếng Việt, VMLU là điểm xuất phát phù hợp. Nếu sản phẩm phải hiểu cách diễn đạt vùng miền, xử lý nội dung nhạy cảm hoặc thực hiện tác vụ qua công cụ, hãy xem các hạng mục tương ứng của V-Bench. Bài báo về VMLU mô tả Vi-MQA, Vi-SQuAD, Vi-DROP và Vi-Dialog; riêng Vi-MQA có 10.880 câu hỏi trắc nghiệm, nên con số đó không đại diện cho toàn bộ bộ đánh giá.

Điểm tổng hợp của hai bảng không thể đặt cạnh nhau để tuyên bố mô hình nào giỏi tiếng Việt hơn: nội dung kiểm tra và cách gộp điểm khác nhau. Bảng xếp hạng V-Bench hiển thị các nhóm kiến thức học thuật, an toàn và chủ quyền số, văn hóa xã hội vùng miền, y tế sức khỏe cộng đồng và năng lực tác nhân, đồng thời tách bài kiểm tra công khai khỏi bài kiểm tra chuyên sâu. Mô hình nổi bật ở nhóm kiến thức vì thế chưa chắc là lựa chọn tốt nhất cho một trợ lý phải hiểu phương ngữ hoặc dùng công cụ.

Hai bộ đo khác nhau ở đâu?

VMLU là một bộ đánh giá gồm các tác vụ khác nhau, không phải một phép trắc nghiệm duy nhất. Vi-MQA xét kiến thức bằng đáp án lựa chọn; Vi-SQuAD yêu cầu tìm và diễn đạt câu trả lời từ văn bản; Vi-DROP thử khả năng suy luận dựa trên đoạn văn; Vi-Dialog xem mô hình giữ ngữ cảnh qua hội thoại nhiều lượt ra sao. Sự phân biệt này quan trọng khi một mô hình trả lời tốt câu hỏi độc lập nhưng sản phẩm thực tế lại yêu cầu theo dõi thông tin được người dùng cung cấp ở lượt trước.

V-Bench dành thêm chỗ cho những yêu cầu gắn với bối cảnh Việt Nam. Giới thiệu của VinUni mô tả bộ dữ liệu hơn 40.000 câu hỏi và tác vụ, với nội dung về phương ngữ, văn hóa, an toàn thông tin, y tế cộng đồng, lập kế hoạch và sử dụng công cụ. Phạm vi rộng hơn giúp người mua nhìn thấy một số năng lực cần cho triển khai, nhưng từng hạng mục vẫn phải được đối chiếu với công việc cụ thể của mô hình.

Ngay trong cùng một chủ đề, hai bộ đo có thể đặt câu hỏi khác nhau. Một bài về kiến thức lịch sử kiểm tra khả năng chọn đáp án; một tình huống văn hóa có thể đòi hỏi hiểu cách xưng hô hoặc hàm ý trong lời nói. Tương tự, giải đúng một câu hỏi về quy trình chưa cho thấy mô hình sẽ chọn đúng công cụ và xử lý kết quả công cụ khi thực hiện quy trình ấy. Vì vậy, lựa chọn phép đo phụ thuộc vào dạng đầu ra cần dùng và loại lỗi gây hại cho sản phẩm.

Ghép mục tiêu sử dụng với hạng mục đánh giá

Với nghiên cứu mô hình, nên xác định năng lực cần khảo sát trước khi chọn bộ dữ liệu. Với việc mua API hoặc triển khai trong doanh nghiệp, hãy bắt đầu từ tác vụ mà người dùng thực sự giao cho hệ thống. Một sản phẩm có nhiều chức năng có thể cần cả hai bộ đo, nhưng mỗi kết quả chỉ trả lời cho phần việc tương ứng.

Trợ lý học tập và tra cứu: Vi-MQA giúp sàng lọc kiến thức; Vi-SQuAD và Vi-DROP phù hợp hơn khi mô hình phải đọc tài liệu rồi trả lời hoặc suy luận từ tài liệu. Nhóm kiến thức học thuật của V-Bench có ích nếu môn học và bối cảnh Việt Nam là yếu tố quyết định.
Chatbot dịch vụ: Vi-Dialog liên quan trực tiếp đến việc theo mạch hội thoại. Nếu khách hàng dùng cách xưng hô, từ ngữ hoặc lối diễn đạt khác nhau giữa các vùng, cần xem thêm nhóm văn hóa xã hội vùng miền của V-Bench.
Sản phẩm liên quan đến nội dung nhạy cảm hoặc sức khỏe: các nhóm an toàn và chủ quyền số, y tế và sức khỏe cộng đồng của V-Bench cho tín hiệu sàng lọc đúng chủ đề hơn điểm kiến thức chung. Ngưỡng chấp nhận vẫn phải dựa trên loại câu trả lời mà sản phẩm được phép đưa ra.
Tác nhân thực hiện nhiều bước: nhóm năng lực tác nhân của V-Bench gần với yêu cầu lập kế hoạch và dùng công cụ. Điểm đọc hiểu không thay thế được phép thử xem mô hình chọn công cụ nào, dùng kết quả ra sao và xử lý thế nào khi thiếu dữ kiện.
API dùng cho nhiều bộ phận: kết quả từ cả hai bộ có thể giúp lập danh sách ứng viên. Sau đó cần chấm riêng tác vụ của từng bộ phận, vì một điểm trung bình có thể che khuất lỗi nghiêm trọng trong chức năng quan trọng nhất.

Vì sao thứ hạng dễ dẫn đến lựa chọn sai?

Leaderboard VMLU trình bày kết quả của các mô hình được đánh giá bằng lời nhắc zero-shot, cho phép nộp dự đoán ở chế độ zero-shot hoặc few-shot và chỉ công bố kết quả nộp khi người nộp yêu cầu. Zero-shot nghĩa là lời nhắc đánh giá không kèm ví dụ giải mẫu; few-shot có ví dụ. Cùng một mô hình có thể cho kết quả khác khi đổi cách đặt lời nhắc, nên phải giữ điều kiện đánh giá nhất quán khi so ứng viên.

Cũng cần phân biệt bộ VMLU đầy đủ với những gì bảng xếp hạng thể hiện. Các cột STEM, khoa học xã hội, nhân văn và nhóm khác cùng điểm trung bình theo môn phản ánh phép đánh giá kiến thức trắc nghiệm; chúng không tự động cho biết chất lượng đọc hiểu, suy luận từ văn bản hay hội thoại của cùng mô hình. Nếu quyết định mua API dựa trên một cột điểm ấy, phần năng lực còn thiếu phải được thử bằng tác vụ thích hợp.

Ở V-Bench, bài kiểm tra công khai và chuyên sâu là hai loại kết quả được trình bày riêng. Không nên coi điểm thuộc hai loại là cùng một lần chạy, hoặc so điểm tổng hợp của V-Bench với điểm trung bình trên VMLU như thể chúng có chung thang đo. Khi một mô hình xuất hiện trên cả hai bảng, cần xem đúng phiên bản và cấu hình được chấm, hạng mục, cách đặt lời nhắc và quyền truy cập công cụ. Thứ hạng chỉ hữu ích khi các điều kiện ấy gần với điều kiện sử dụng dự kiến.

Leaderboard còn tạo động lực tối ưu cho phép thử đã biết. Nếu nhà phát triển điều chỉnh mô hình hoặc lời nhắc để cải thiện điểm trên một tập câu hỏi quen thuộc, phần tăng điểm không bảo đảm câu trả lời tốt hơn trên dữ liệu mới của doanh nghiệp. Với mô hình chỉ có quyền truy cập riêng, người mua cũng khó tự lặp lại phép đo. Cách dùng thận trọng là xem bảng xếp hạng như bước chọn ứng viên, rồi kiểm tra các lỗi gắn với sản phẩm của mình.

Phiếu chấm nội bộ để quyết định triển khai

Một phiếu chấm ngắn giúp nối năng lực trên benchmark với quyết định mua hoặc triển khai. Mỗi ứng viên cần được ghi bằng phiên bản mô hình và cấu hình sử dụng cụ thể: lời nhắc, dữ liệu được cung cấp, quyền gọi công cụ và cách tính chi phí. Nếu thay đổi một yếu tố, kết quả cần được xem như kết quả của cấu hình khác.

Tác vụ và đầu vào: lấy mẫu câu hỏi, đoạn tài liệu, hội thoại, cách diễn đạt vùng miền hoặc chuỗi hành động mà sản phẩm thực sự gặp. Ghi rõ trường hợp nào quan trọng nhất, thay vì để các loại câu hỏi xuất hiện với tỷ lệ tùy tiện.
Đáp án và tiêu chí: xác định thông tin phải có trong câu trả lời, điều gì được phép suy ra từ tài liệu, khi nào mô hình cần hỏi lại hoặc từ chối, và kết quả công cụ nào được phép sử dụng.
Loại lỗi: chấm riêng sai kiến thức, suy luận không có căn cứ, mất ngữ cảnh hội thoại, hiểu sai cách diễn đạt vùng miền, phản hồi không an toàn và hành động sai. Giữ lại ví dụ cụ thể để người duyệt hiểu mức độ nghiêm trọng đằng sau điểm số.
Điều kiện vận hành: ghi độ trễ, chi phí theo khối lượng sử dụng dự kiến và giới hạn truy cập API bên cạnh chất lượng câu trả lời. Đây là tiêu chí mua sắm, không phải điểm năng lực tiếng Việt.
Quyết định: đặt ngưỡng cho từng lỗi quan trọng trước khi xem kết quả. Một mô hình có điểm trung bình cao vẫn không đạt nếu mắc loại lỗi mà sản phẩm không thể chấp nhận.

Chẳng hạn, nếu hệ thống dùng để trả lời từ tài liệu nội bộ, phiếu chấm nên phân biệt câu trả lời đúng nhờ trích được căn cứ với câu trả lời nghe hợp lý nhưng thêm chi tiết ngoài tài liệu. Nếu hệ thống dùng công cụ, cần ghi cả hành động đã thực hiện và trạng thái sau hành động, không chỉ chấm lời giải thích cuối cùng. Chính các tiêu chí gắn với công việc này quyết định mô hình nào phù hợp, còn VMLU và V-Bench cung cấp những góc sàng lọc khác nhau trước khi thử nghiệm nội bộ.

Đọc thêm: