Cloudflare giảm 68% tiền AI review: cache tốt vẫn có thể đốt ngân sách

Ngày 19/10/2026, Cloudflare công bố kết quả tối ưu AI code review nội bộ: chi phí trung bình giảm 68%, từ 2,43 USD trong hai tuần tốn kém nhất trước khi tối ưu xuống 0,77 USD mỗi lượt; thời gian trung vị giảm từ 4 phút 9 giây còn 1 phút 32 giây. Hệ thống này xem xét các yêu cầu hợp nhất mã bằng một bộ điều phối và những bộ đánh giá chuyên trách. Mức chi phí mới được tính với bộ đánh giá chất lượng mã ở mức effort cao.

Phân tích của Automater chỉ ra điểm đáng chú ý trong số liệu Cloudflare công bố cùng ngày: tỷ lệ cache hit tăng trong lúc lượng token cho mỗi lượt review tăng mạnh, và ghi cùng đọc cache chiếm 77% chi phí trước tối ưu. Vì vậy, tỷ lệ dùng được cache không đủ để cho biết một lượt review có rẻ đi hay không. Kết quả còn phụ thuộc vào lượng ngữ cảnh được gửi lặp lại, số lần gọi model và chất lượng phát hiện lỗi sau khi giảm mức effort.

Cache hit tăng, hóa đơn vẫn phình ra

Từ tháng 4 đến tháng 9, tỷ lệ cache hit của hệ thống tăng từ 85,7% lên 97%, nhưng lượng token trung bình mỗi lượt review cũng tăng từ 0,91 triệu lên 2,99 triệu. Một phần lớn ngữ cảnh được đọc lại với đơn giá thấp vẫn tạo ra chi phí đáng kể khi tổng lượng token tăng hơn ba lần. Tuy nhiên, cache không giải thích toàn bộ đà tăng: việc chuyển các bộ đánh giá sang model Anthropic trong tháng 8 cũng đẩy chi phí mỗi tác vụ từ 1,38 USD lên 2,03 USD.

Ngay trước khi tối ưu, token đầu ra chiếm 23% chi phí, ghi cache chiếm 43% và đọc cache chiếm 34%. Riêng bộ đánh giá chất lượng mã gọi model trung bình 16,6 lần mỗi lượt review, ghi 72.000 token vào cache và đọc lại 1,08 triệu token. Mỗi lần gọi mang theo lịch sử hội thoại, nên chi phí tăng theo cả số lượt gọi lẫn độ dài ngữ cảnh.

Điểm nghẽn còn nằm ở yêu cầu đầu tiên của mỗi phiên. Hệ thống có phần lệnh và định nghĩa công cụ dài 11.000–21.000 token dùng chung giữa các kho mã, nhưng chỉ 14–26% yêu cầu đầu tiên đọc được tiền tố cache. OpenCode v1 đặt thông tin thay đổi theo thư mục làm việc và ngày trước điểm ngắt, khiến phần chung không được lưu riêng để phiên khác tái sử dụng. Đây là trường hợp cụ thể cho thấy vị trí điểm ngắt cache ảnh hưởng trực tiếp đến số token phải ghi lại.

Từ sửa tiền tố cache đến bớt lượt gọi

Cloudflare chuyển phần nội dung dùng chung lên trước một điểm ngắt riêng và để thông tin theo kho mã ở phía sau. Tỷ lệ yêu cầu đầu tiên đọc được tiền tố cache sau thay đổi tăng lên 91–99,5%. Cùng lúc, bộ đánh giá tiêu chuẩn nội bộ nhận chỉ mục tham chiếu ngay trong lệnh ban đầu, thay cho các lượt gọi công cụ để đọc chỉ mục; số lần gọi model của riêng bộ này giảm từ 15,9 xuống 9,6 mỗi lần chạy.

Hai thay đổi đưa chi phí đo ở lát cắt triển khai từ 2,47 USD xuống 2,02 USD mỗi lượt review. Mốc 2,47 USD thuộc phép so sánh quanh lần triển khai đó, còn 2,43 USD là mức trung bình của hai tuần tốn kém nhất dùng để tính mức giảm chung 68%; không nên ghép chúng thành một thác chi phí có cùng điểm xuất phát.

Các sửa đổi sau đó tiết kiệm thêm khoảng 0,20 USD mỗi review. Nhóm bỏ công cụ mà bộ đánh giá phụ không được phép dùng, cho đọc các tệp cần thiết trong cùng lượt gọi và dừng phiên ngay sau khi đăng nhận xét, thay vì gửi toàn bộ hội thoại cho model thêm lần nữa để viết bản tóm tắt không ai dùng. Hệ thống cũng bỏ qua bộ đánh giá không có nội dung mới phù hợp ở lần review tiếp theo và tự dừng tác vụ đã bị hủy. Với ba bộ đánh giá chất lượng mã, bảo mật và hiệu năng, một tiền tố chung còn được ghi một lần để hai bộ còn lại đọc lại.

Đổi model và effort tạo phần tiết kiệm lớn hơn

Trong phép phân tách theo các thời điểm triển khai, Cloudflare ước tính thay đổi mã tiết kiệm 0,65 USD, còn đổi model và mức effort tiết kiệm 1,06 USD mỗi review. Tổng hai ước tính không khớp hoàn toàn với mức giảm chung 1,67 USD: mỗi bước được đo ở một khoảng thời gian khác nhau, không phải trong thí nghiệm đối chứng trên cùng tập review. Phần chênh này không nên được gán thêm cho cache hay cho một model cụ thể.

Một phép chia thử chuyển các bộ đánh giá từ Sonnet 5 sang Sonnet 5.5 cho thấy chi phí mỗi lần chạy giảm 62% ở chất lượng mã, 58% ở hiệu năng và 47% ở bảo mật. Hai phiên bản có cùng giá mỗi token trong so sánh này; chênh lệch đến từ số token sử dụng. Riêng bộ đánh giá chất lượng mã trên Sonnet 5.5 gọi model trung bình 1,7 lần ở effort trung bình, so với 3,4 lần ở effort cao. Ít lượt gọi hơn giúp giảm chi phí, nhưng cũng có thể khiến bộ đánh giá xem xét ít tệp hơn.

Giá mỗi token chỉ giải thích khoảng 0,20 USD trong mức giảm chi phí được phân tích. Tính từ đầu tháng 9, lượng token đọc từ cache trên mỗi review giảm 82%, token ghi cache giảm 54% và token đầu ra giảm 67%. Những con số này phản ánh tác động kết hợp của tiền tố dùng chung, số lượt gọi, lựa chọn model và effort; chúng không phải khoản tiết kiệm độc lập có thể cộng thêm vào các mốc USD.

Effort thấp bỏ sót điều gì?

Số nhận xét nghiêm trọng giảm không đồng nghĩa tất cả đều là lỗi bị bỏ sót. Với bộ đánh giá chất lượng mã ở effort cao, tỷ lệ phát hiện nghiêm trọng được tác giả mã hành động tăng từ 34% lên 59%; số phát hiện dẫn đến sửa mã trên mỗi 1.000 review gần như giữ nguyên trong khoảng sai số. Trong mẫu được chấm mà không lộ giai đoạn tạo nhận xét, số phát hiện quan trọng trên mỗi review là 0,28 trước thay đổi và 0,30 sau thay đổi, với các khoảng sai số chồng lấn. Nhiều nhận xét biến mất thuộc nhóm lỗi nhỏ, trùng lặp hoặc không thể xác minh.

Nhưng phép chia ngẫu nhiên theo effort cho kết quả khác: bộ đánh giá chất lượng mã ở mức trung bình chỉ tạo ra khoảng một phần tư số phát hiện được tác giả mã hành động so với mức cao. Cloudflare vì thế chuyển bộ này lên effort cao trong cách tính chi phí cuối cùng. Bộ đánh giá hiệu năng ở mức trung bình có ít hơn khoảng 64% phát hiện quan trọng trên mỗi review theo mẫu chấm; bộ bảo mật cũng giảm theo chiều đó, nhưng kết quả chưa đủ chắc chắn về mặt thống kê. Việc thử effort cao cho hai bộ đánh giá này là bước tiếp theo được nêu ra.

Cách đo vẫn cần được đọc đúng giới hạn. Tác giả sửa dòng mã bị gắn cờ cho thấy nhận xét đã dẫn tới hành động, chứ chưa tự chứng minh nhận xét chính xác; nhóm chấm mù cũng sử dụng model và có cỡ mẫu hữu hạn. Chính vì thế, tiết kiệm trên hóa đơn chỉ có ý nghĩa vận hành khi đi cùng dữ liệu về phát hiện quan trọng, thay vì chỉ đếm tổng số nhận xét.

Chi phí mỗi review hoàn tất cần đi cùng chất lượng

Từ trường hợp Cloudflare, bức tranh chi phí của một lượt review hoàn tất gồm các số đo khác nhau: chi phí và thời gian theo nhiệm vụ, tỷ lệ yêu cầu đầu tiên thật sự đọc được cache, lượng token ghi và đọc, số lượt gọi model của từng bộ đánh giá, cùng số phát hiện quan trọng dẫn tới sửa mã. Từng số đo trả lời một câu hỏi riêng. Cache hit cho thấy mức tái sử dụng, còn token và lượt gọi cho biết phần việc lặp lại có đang lớn lên hay không.

Phần khó nhất nằm ở quyết định phân bổ effort. Mức thấp có thể đủ cho vai trò mà phép thử không thấy suy giảm kết quả, nhưng dữ liệu chất lượng mã và hiệu năng của Cloudflare cho thấy không thể áp một mức chung cho mọi bộ đánh giá. Kết quả thử effort cao sắp tới ở hiệu năng và bảo mật sẽ quyết định liệu mức chi phí 0,77 USD mỗi review có giữ được khi hai vai trò đó được kiểm tra sâu hơn.

Đọc thêm:

• Prompt caching Claude có thể phản tác dụng nếu đặt breakpoint sai
• Claude Fable 5.1 giảm 75% phí đọc cache, giá đầu ra vẫn 50 USD
• Cloudflare cho bot score tự học liên tục, nhưng hai lớp phòng thủ vẫn đang chờ