Google giấu cả đề thi lẫn trọng số Gemini: điểm số vẫn chưa được công bố

Ngày 27/8/2026, Google DeepMind công bố một thử nghiệm đánh giá mù đôi với Gemini 2.5 Flash Lite: bên đánh giá không được xem trọng số mô hình, còn Google không được đọc các prompt bí mật. Singapore AI Safety Institute (Singapore AISI), OpenMined, AVERI và MLCommons cùng tham gia; TechRepublic ghi nhận về chương trình thí điểm rằng phương pháp và đối tác đã được công bố, nhưng không có điểm số tổng hợp hay kết quả theo từng tác vụ.

Thử nghiệm đã chứng minh hai tài sản bí mật có thể gặp nhau trong một môi trường điện toán được bảo vệ bằng mật mã mà không phải chuyển giao ở dạng rõ cho phía đối diện. Điều đó giảm một đường dẫn gây nhiễm benchmark, nhưng chưa chứng minh Gemini đạt chất lượng cao, bộ đề đại diện cho mọi tình huống triển khai hoặc kết quả hoàn toàn độc lập với Google.

Hai bên xác minh môi trường trước khi giao bí mật

Phép thử chạy trong Confidential Space trên Google Cloud, sử dụng máy ảo bảo mật A3, Intel TDX, GPU bảo mật NVIDIA H100 và phần mềm PySyft của OpenMined. Trọng số, prompt và dữ liệu trung gian được xử lý trong môi trường có bộ nhớ được bảo vệ ở cấp phần cứng, thay vì được chuyển trực tiếp cho bên còn lại.

Luồng đánh giá diễn ra theo trình tự:

1. Google DeepMind chuẩn bị trọng số và mã suy luận; phía đánh giá chuẩn bị prompt, mã chấm và chính sách quy định đầu ra nào được phép rời khỏi môi trường.
2. Một enclave GPU tạm thời được khởi chạy với ngăn xếp phần mềm đã xác định trước.
3. Các bên kiểm tra báo cáo attestation, chữ ký phần cứng và những giá trị băm đại diện cho cấu hình đang chạy.
4. Chỉ sau khi chấp thuận cấu hình, mỗi bên mới truyền riêng tài sản đã mã hóa của mình vào enclave.
5. Benchmark chạy trong vùng cô lập, đầu ra được giới hạn theo chính sách đã thống nhất, rồi môi trường tạm thời bị hủy.

Báo cáo kỹ thuật của thử nghiệm mô tả attestation như bằng chứng để các bên kiểm tra dữ liệu sắp được đưa vào đúng cấu hình phần cứng và phần mềm đã chấp thuận. Bằng chứng này không tự xác nhận mọi dòng mã đều chính xác; sức mạnh của nó phụ thuộc vào phần mã có thể kiểm tra, các phép đo được đưa vào báo cáo và gốc tin cậy của nhà sản xuất phần cứng.

Gemini được chạy với hai nguồn prompt bí mật

Một nhánh của thử nghiệm dùng phần prompt dự trữ thuộc AILuminate AIRR 1.4 của MLCommons. Các tình huống được nêu trong tài liệu gồm tấn công mạng, nguy cơ hóa học và sinh học, lời nói thù ghét, tự gây hại và yêu cầu liên quan đến tội phạm bạo lực; AVERI phụ trách đánh giá đầu ra trong quy trình bảo mật.

MLCommons xác nhận phần đề AILuminate dự trữ chưa từng được đưa cho bất kỳ mô hình Google DeepMind nào xử lý trước đó và được chạy bằng hạ tầng tính toán bảo mật của OpenMined. Singapore AISI thực hiện một nhánh riêng với các prompt kín tập trung vào khả năng tạo nội dung có hại trong bối cảnh Singapore.

Tuyên bố “chưa từng được xử lý” chỉ áp dụng cho tập prompt dự trữ do MLCommons cung cấp, không phải mọi câu hỏi có thể liên quan đến cùng chủ đề. Việc tách rõ hai nhánh cũng quan trọng: không thể lấy phạm vi của AILuminate để mô tả thay cho bộ đề của Singapore AISI, hoặc ngược lại.

Mật mã giảm nhiễm benchmark, không bảo đảm một kết quả tốt

Nếu nhà phát triển nhìn thấy đề trước khi đánh giá, câu hỏi có thể đi vào dữ liệu huấn luyện, tinh chỉnh hoặc quá trình tối ưu sau huấn luyện. Khi đó, điểm cao có thể phản ánh mức độ quen thuộc với bài kiểm tra thay vì năng lực khái quát. Cơ chế mù đôi thu hẹp rủi ro này bằng cách giữ prompt ngoài tầm nhìn của Google trong lần chạy và giữ trọng số ngoài tầm nhìn của tổ chức đánh giá.

Tuy nhiên, bí mật của đề và chất lượng của đề là hai vấn đề khác nhau. Enclave không xác định liệu prompt có đại diện cho hoạt động của một ngân hàng, cơ quan nhà nước hay doanh nghiệp Việt Nam; nó cũng không chứng minh tiêu chí chấm phản ánh đầy đủ độ an toàn, tính chính xác hoặc độ ổn định cần thiết cho một trường hợp sử dụng cụ thể.

MLCommons còn phân biệt bảo mật kỹ thuật với quản trị benchmark: duy trì tính toàn vẹn lâu dài vẫn cần kiểm soát vòng đời, quy tắc tiếp cận và biện pháp pháp lý. Vì thế, thử nghiệm cung cấp bằng chứng về cách bảo vệ tài sản trong lúc chạy, chứ không biến một bộ đề hẹp thành thước đo toàn diện.

Đường xác minh chưa hoàn toàn độc lập với Google

Báo cáo kỹ thuật thừa nhận một số phần triển khai suy luận độc quyền không thể được kiểm tra đầy đủ hoặc đối chiếu toàn bộ với danh sách hàm được cho phép. AVERI được thông báo về giới hạn này và chấp thuận cấu hình tổng thể, nhưng một phần ngăn xếp vì thế vẫn phải được tin cậy thay vì được bên ngoài xem xét trọn vẹn.

Khả năng tái lập cũng có giới hạn. Mã nguồn hệ điều hành khách của Confidential Space được công khai và quy trình dựng đã được xác thực từ bên ngoài, song từng bản dựng không thể được tái tạo độc lập để cho ra kết quả giống hệt từng bit vì có khóa ký riêng làm đầu vào. Dịch vụ của Google còn tham gia ký và xác minh báo cáo attestation, đặt Google trên đường xác minh của phép thử dành cho chính mô hình Google.

“Mù đôi” do đó không đồng nghĩa với một hệ thống không cần niềm tin. Cơ chế này chuyển một phần niềm tin từ cam kết không ghi log và hợp đồng sang phần cứng, chứng thư, phần mềm nền cùng chính sách đầu ra; đồng thời vẫn dựa vào giả định rằng nhà cung cấp đám mây và các nhà sản xuất phần cứng không phối hợp phá vỡ bảo đảm.

Không có điểm số để đánh giá chất lượng Gemini

Các tài liệu công bố ngày 27–28/8 mô tả kiến trúc, đối tác, mô hình và những nhóm nguy cơ được kiểm tra, nhưng không đưa ra điểm tổng hợp, tỷ lệ vi phạm theo nhóm hoặc bảng kết quả chi tiết. Vì vậy, chưa thể dùng chương trình thí điểm này để kết luận Gemini 2.5 Flash Lite an toàn hơn, đáng tin cậy hơn hay vượt một mô hình cạnh tranh.

Đối với người mua giải pháp doanh nghiệp, ba lớp bằng chứng cần được tách riêng: bộ đề chưa bị mô hình nhìn thấy trước; phép thử chạy đúng cấu hình đã thỏa thuận; và kết quả chứng minh hiệu năng phù hợp với mục đích triển khai. Thí điểm củng cố hai lớp đầu ở những phạm vi nhất định, còn lớp thứ ba vẫn thiếu dữ liệu công khai — khoảng trống cũng xuất hiện khi xem xét rào cản kiểm toán Gemini trong ngân hàng.

Trạng thái hiện tại của câu chuyện vì thế là một quy trình đã được trình diễn, không phải một thành tích mô hình đã được chứng minh. Những phần còn thiếu gồm kết quả định lượng, quy tắc công bố, khả năng tái lập độc lập và một đường attestation giảm phụ thuộc vào chính nhà cung cấp có mô hình đang được kiểm tra.

Đọc thêm:

• Gemini Enterprise vào ngân hàng: 50 kỹ năng chưa xóa được rào cản kiểm toán
• Claude tự sửa 10 lỗi căn chỉnh: Kết quả tốt nhưng vẫn biết “lách điểm”
• PaperCut bị khai thác: Bản vá khẩn cấp đầu tiên vẫn chưa đủ