Gemini 3 Pro hơn GPT-5 gần 8 điểm trên VMMU

Trên bảng kết quả VMMU, Gemini 3 Pro đạt 86,33%, còn GPT-5 đạt 78,41% trên bộ 2.548 câu hỏi tiếng Việt cần kết hợp chữ với bằng chứng hình ảnh. Chênh lệch 7,92 điểm phần trăm, gần tám điểm, là mức chênh giữa điểm trung bình của bảy lĩnh vực; phần thi giao thông và IQ tạo ra hai khoảng cách lớn nhất.

Với những trang đề có biểu đồ, bản đồ, sơ đồ hoặc biển báo, Gemini 3 Pro thể hiện khả năng suy luận tốt hơn GPT-5 trong phép đo này. Kết quả trả lời trực tiếp câu hỏi hai mô hình làm bài tiếng Việt có hình ảnh ra sao, nhưng chưa đủ để chọn một thuê bao hiện nay: điểm VMMU gắn với bộ đề, cách chấm và đúng các thế hệ mô hình được thử nghiệm.

Khoảng cách thay đổi theo từng loại câu hỏi

Ở toán học, Gemini 3 Pro đạt 92,54% và GPT-5 đạt 91,23%, cách nhau 1,31 điểm phần trăm. Địa lý cũng là phần cả hai đạt điểm cao: lần lượt 94,59% và 89,40%. Các câu địa lý dùng bảng, biểu đồ hoặc bản đồ trong bối cảnh Việt Nam, nên kết quả phản ánh việc ghép thông tin viết trong đề với dữ liệu nằm trên hình, chứ không chỉ nhận dạng chữ.

Trong các môn khoa học, khoảng cách lớn hơn nhưng không giống nhau. Vật lý ghi nhận 81,16% so với 76,45%; hóa học là 91,72% so với 85,10%; sinh học là 80,94% so với 72,73%, đều theo thứ tự Gemini 3 Pro rồi GPT-5. Sơ đồ, ký hiệu và dữ liệu trong hình có thể giữ những điều kiện cần thiết để chọn đáp án. Vì thế, kết quả từng môn hữu ích hơn điểm chung khi công việc thực tế tập trung vào một dạng tài liệu khoa học cụ thể.

Phần thi lái xe tạo khoảng cách lớn nhất: Gemini 3 Pro đạt 91,28%, GPT-5 đạt 75,20%, chênh 16,08 điểm phần trăm. Ở câu hỏi IQ về quy luật hình và quan hệ không gian, hai mức điểm là 72,08% và 58,75%, chênh 13,33 điểm. Một lợi thế gần tám điểm ở điểm chung vì vậy che đi sự khác biệt đáng kể giữa các loại bằng chứng thị giác. Kết quả giao thông đặc biệt liên quan đến người cần xử lý biển báo hoặc tình huống đường bộ Việt Nam; điểm IQ mô tả một loại suy luận hình khác.

VMMU cho mỗi lĩnh vực trọng số như nhau khi tính cột điểm trung bình, dù số câu trong từng lĩnh vực khác nhau. Chẳng hạn, phần địa lý có nhiều câu hơn phần IQ, nhưng mỗi phần vẫn đóng góp một tỷ lệ đúng vào phép lấy trung bình. Cách tính này giúp thấy năng lực trải rộng qua các môn; nó không cho biết mô hình sẽ đúng bao nhiêu phần trăm nếu một công việc thực tế có tỷ lệ câu giao thông, địa lý và khoa học khác bộ đề.

Đọc được tiếng Việt chưa đủ để chọn đúng đáp án

Mỗi câu VMMU là ảnh của một trang đề, chứa câu hỏi, phương án trả lời và bằng chứng thị giác cần thiết. Nhóm xây dựng bộ đề loại những ảnh chỉ có chữ, rồi nhờ người đọc tiếng Việt xác minh câu được giữ lại. Mô hình phải tìm đúng chi tiết trong biểu đồ, sơ đồ, bản đồ hoặc cảnh giao thông và dùng chi tiết ấy để suy luận; chép lại câu hỏi chính xác mới giải quyết được một phần nhiệm vụ.

Phép thử nhận dạng chữ trên một tập câu hỏi nhỏ hơn cho thấy các mô hình đóng được đo nhìn chung chép tiếng Việt tốt, trong khi vẫn trả lời sai một số câu của bài thi đầy đủ. Bảng nhận dạng chữ có kết quả của Gemini 3 Pro nhưng không có kết quả riêng của GPT-5, nên không thể từ bảng đó kết luận mô hình nào đọc chữ tốt hơn. Nó chỉ giúp tách khả năng nhận dạng ký tự khỏi năng lực liên kết chữ với hình trong phép đo VMMU.

Nhóm nghiên cứu còn thử tách câu hỏi và đáp án thành văn bản thuần, chỉ để phần bằng chứng thị giác trong ảnh. Nhiều mô hình tăng điểm với cách trình bày này; riêng Gemini 3 Pro tăng từ 86,33% lên 87,92% trong phép thử được công bố. Đây là dấu hiệu cho thấy bố cục trang và việc xác định đúng vùng hình ảnh có ảnh hưởng đến kết quả. Bảng thử nghiệm tách chữ không có hàng tương ứng của GPT-5, nên không thể suy ra mức cải thiện của GPT-5 khi đổi cách đưa đầu vào.

Vì sao điểm VMMU chưa phải bảng chọn mô hình hiện nay?

VMMU đo một việc cụ thể: giải câu hỏi trắc nghiệm tiếng Việt trên ảnh trang đề, nơi phần hình chứa thông tin không thể suy ra từ riêng phần chữ. Ảnh chụp thiếu sáng, tài liệu nhiều trang, câu hỏi mở hoặc yêu cầu giải thích dài sẽ đặt thêm điều kiện ngoài khuôn khổ đó. Một điểm số cao trên trang đề sạch là bằng chứng về năng lực trong phép thử đã công bố, không phải tỷ lệ đúng được bảo đảm cho mọi quy trình xử lý ảnh.

Giới thiệu GPT-5 của OpenAI mô tả sản phẩm như một hệ thống có cơ chế định tuyến giữa trả lời nhanh và suy luận sâu, đồng thời có khả năng xử lý thông tin thị giác. Điều này khiến tên sản phẩm một mình chưa đủ mô tả mọi điều kiện sử dụng: cách gửi ảnh và mức suy luận có thể ảnh hưởng đến trải nghiệm. Điểm VMMU nên được gắn với phép chạy do nhóm nghiên cứu thực hiện, thay vì mặc nhiên áp cho mọi lần dùng GPT-5.

Danh mục model card của Google DeepMind vẫn liệt kê Gemini 3 Pro nhưng cũng có các thế hệ Gemini mới hơn. Tương tự, danh mục mô hình API của OpenAI giới thiệu những lựa chọn mới hơn GPT-5. Hai danh mục cho thấy cặp mô hình trong VMMU không đại diện đầy đủ cho các lựa chọn hiện nay. Chúng không công bố điểm VMMU của những mô hình kế tiếp, nên mức chênh trong bộ đề này không thể chuyển nguyên sang một cặp sản phẩm mới.

Kiểm thử lại bằng dữ liệu nội bộ khi cần lựa chọn

Nếu phải chọn mô hình cho một quy trình xử lý ảnh tiếng Việt, VMMU hữu ích nhất như một cách thiết kế phép thử. Kho mã đánh giá VMMU mô tả cách chạy mô hình, lưu câu trả lời và xem độ chính xác theo từng môn. Với dữ liệu nội bộ, cùng nguyên tắc ấy giúp tránh việc một điểm trung bình tốt che khuất loại ảnh quan trọng nhất đối với công việc.

Trước hết, tập thử nên lấy từ đúng đầu vào sẽ triển khai: ảnh biển báo nếu xử lý tình huống giao thông, bản đồ và biểu đồ nếu đọc tài liệu địa lý, hoặc sơ đồ nếu xử lý tài liệu khoa học. Giữ cả độ rõ, cách cắt ảnh và phần chữ đi kèm như trong quy trình thật. Tập câu hỏi cần có đáp án do người am hiểu nghiệp vụ xác nhận, đồng thời đủ mẫu ở mỗi nhóm hình để một vài câu dễ không quyết định toàn bộ nhận xét.

Sau đó, cho các mô hình nhận cùng câu hỏi và hướng dẫn, ghi lại tên phiên bản, mức suy luận có thể cấu hình và cách gửi ảnh. Khi chấm, tách lỗi đọc chữ, lỗi tìm chi tiết trong hình và lỗi suy luận từ chi tiết đã tìm thấy. Nếu công việc phụ thuộc vào biển báo, hãy xem kết quả của nhóm biển báo trước điểm trung bình; nếu tài liệu chủ yếu là biểu đồ, dùng kết quả biểu đồ làm căn cứ chính. Cách phân nhóm đó nối phép đo với loại sai sót mà quy trình thực sự phải chịu.

Đọc thêm: