Đo năng suất AI: số prompt có thể gây hiểu sai

Muốn biết AI có nâng năng suất trong công việc hay không, hãy chọn một quy trình và so sánh kết quả trước, sau khi dùng AI trên cùng đơn vị công việc. Mỗi trường hợp cần có điểm chất lượng, thời gian con người bỏ ra, chi phí công cụ, sự cố và kết quả kinh doanh liên quan. Chỉ xem là cải thiện khi đầu ra vẫn đạt chuẩn và nguồn lực cần để tạo ra kết quả hữu ích giảm xuống.

Số prompt cho biết nhân viên đã tương tác với công cụ, nhưng không cho biết họ có làm tốt việc hơn hay phải sửa nhiều hơn. Bài phân tích trên TechRadar Pro dẫn một khảo sát 2.000 lao động tại Mỹ và Anh: 46% cho biết dùng AI ở nơi làm việc, gần một nửa chưa được đào tạo chính thức và 17% thừa nhận giả vờ dùng AI. Đây không phải số liệu đại diện cho Việt Nam, nhưng là lời cảnh báo cụ thể về việc lấy lượt sử dụng làm đại diện cho năng lực.

Chốt đơn vị công việc và đường cơ sở

Đơn vị đo phải là một việc đã hoàn tất theo tiêu chuẩn nghiệm thu, không phải bản nháp mà AI tạo ra. Với ví dụ giả định về bộ phận hỗ trợ khách hàng, đơn vị đó là một yêu cầu được giải quyết và chấp nhận. Một câu trả lời gửi đi nhưng sau đó phải sửa hoặc khiến yêu cầu bị mở lại vẫn thuộc chi phí xử lý của trường hợp ban đầu.

Trước khi thử AI, xác định điểm bắt đầu, điểm kết thúc và cách phân loại độ khó. Yêu cầu trả lời theo mẫu, trường hợp phải xác minh thông tin và trường hợp cần chuyển cấp xử lý có thể tiêu tốn nguồn lực rất khác nhau. Ghi nhận cả việc chưa giải quyết xong; nếu chỉ tính những ca thành công, tốc độ và chi phí trung bình sẽ có vẻ tốt hơn thực tế.

Chọn một kết quả kinh doanh gắn trực tiếp với quy trình. Trong hỗ trợ khách hàng, đó có thể là tỷ lệ giải quyết dứt điểm hoặc tỷ lệ yêu cầu bị mở lại; với nội dung sản phẩm, có thể là tỷ lệ bản thảo được duyệt để đăng. Chốt định nghĩa và cách thu thập chỉ số trước khi xem kết quả thử nghiệm, để hai giai đoạn được đo bằng cùng một thước.

Chấm mù chất lượng đầu ra

Đầu ra hỗ trợ khách hàng được đánh giá theo cùng tiêu chuẩn mà không tiết lộ việc sử dụng AI.

Dùng một bộ tiêu chí cho cả hai giai đoạn: độ chính xác, tính đầy đủ, mức đáp ứng yêu cầu và lỗi buộc phải sửa hoặc từ chối. Nếu có thể, người chấm nhận đầu ra đã ẩn tên người thực hiện, công cụ sử dụng và thời điểm tạo. Cách làm này giảm ảnh hưởng của kỳ vọng về AI, dù cách viết đôi khi vẫn có thể khiến người chấm đoán được nguồn gốc.

Chất lượng phải đứng cạnh công sức tạo ra nó. Trong một nghiên cứu về cộng tác giữa người và AI, hai phiên lập kế hoạch du lịch có cùng mức điểm chất lượng chênh khoảng 70 lần về chi phí tương tác được đo bằng token. Chi phí tương tác trong nghiên cứu là thước gần đúng cho công viết, đọc và điều chỉnh trao đổi; nó không phải hóa đơn sử dụng mô hình. Phép thử tại doanh nghiệp cần đo thêm thời gian lao động và tiền công cụ.

Đặt một ngưỡng chất lượng tối thiểu và ghi riêng lỗi nghiêm trọng, chẳng hạn thông tin sai có thể đến tay khách hàng. Điểm trung bình cao không bù được một loại lỗi mà quy trình không thể chấp nhận. Nếu người chấm bất đồng, làm rõ tiêu chí trên các trường hợp tranh cãi rồi áp dụng nhất quán cho toàn bộ mẫu, thay vì đổi thang điểm sau khi đã thấy nhóm nào dùng AI.

Tính công sửa cùng chi phí mô hình

Thời gian xử lý bắt đầu khi nhân viên nhận việc và kết thúc lúc đầu ra được nghiệm thu. Tách thời gian chuẩn bị yêu cầu cho AI, đọc và kiểm tra phản hồi, hỏi tiếp, sửa bản nháp và xử lý lại sau khi phát hiện lỗi. Một bản nháp xuất hiện nhanh vẫn có thể làm cả quy trình chậm đi nếu người làm phải dò lại dữ kiện hoặc viết lại phần lớn nội dung.

Chỉ số tổng hợp phù hợp là chi phí trên mỗi trường hợp đạt chuẩn: cộng chi phí lao động của toàn bộ trường hợp đã xử lý với phí mô hình hoặc phần giấy phép được phân bổ, rồi chia cho số trường hợp vượt ngưỡng chất lượng. Chi phí xử lý các trường hợp bị từ chối vẫn nằm ở tử số. Nếu định lượng được chi phí khắc phục sự cố, hãy cộng vào đó, nhưng tiếp tục báo cáo số sự cố riêng để rủi ro không biến mất trong một giá trị trung bình.

Giữ cùng cách quy đổi thời gian lao động ở giai đoạn trước và sau. Đặt bên cạnh chi phí trên mỗi trường hợp đạt chuẩn thời gian hoàn tất trung vị, tỷ lệ đạt chuẩn ngay lần đầu và thời gian sửa đầu ra. Nhờ vậy có thể thấy AI thực sự giảm công việc hay chỉ chuyển công từ khâu soạn thảo sang khâu kiểm tra. Không cần gộp mọi yếu tố thành một điểm số tùy ý: chất lượng là điều kiện phải đạt, còn thời gian và chi phí cho thấy cái giá để đạt điều kiện ấy.

Mẫu thử trước–sau trong bốn tuần

Đây là lịch thử nghiệm đề xuất cho một quy trình, không phải thời lượng bảo đảm tạo ra kết quả có ý nghĩa thống kê. Trước khi bắt đầu, chọn mức giảm chất lượng tối đa có thể chấp nhận và loại sự cố buộc phải dừng. Ngưỡng cần phản ánh hậu quả thật của lỗi trong quy trình, đặc biệt nếu đầu ra đi thẳng tới khách hàng.

Tuần đầu: đo đường cơ sở theo cách làm hiện tại. Với từng trường hợp, ghi loại việc, độ khó, điểm chất lượng chấm mù, thời gian xử lý và sửa, chi phí, sự cố cùng kết quả kinh doanh đã chọn.
Tuần thứ hai: đưa AI vào phạm vi công việc đã định và hướng dẫn người tham gia cùng một cách sử dụng. Ghi cả trường hợp AI không tạo ra đầu ra dùng được; bỏ chúng khỏi mẫu sẽ làm lợi ích trông lớn hơn.
Tuần thứ ba: tiếp tục đo trên việc mới để xem kết quả có giữ được khi người làm quen công cụ. Nếu đủ nguồn lực, duy trì một nhóm xử lý theo cách cũ trong cùng thời điểm để nhận diện ảnh hưởng của biến động lượng việc.
Tuần thứ tư: chấm mù các đầu ra còn lại theo bộ tiêu chí đã chốt, đối chiếu những nhóm việc có độ khó tương tự và tính chi phí trên mỗi trường hợp đạt chuẩn. Xem riêng lỗi nghiêm trọng, việc phải mở lại và kết quả kinh doanh.

Phép so sánh trước–sau dễ bị lệch nếu loại yêu cầu, nhân sự hoặc khối lượng việc thay đổi. Lưu các yếu tố ấy cùng dữ liệu và đối chiếu trong từng nhóm việc tương đồng. Nhóm làm theo cách cũ cùng thời điểm giúp tách tác động của AI khỏi thay đổi chung của quy trình, dù việc bố trí nhóm này có thể không khả thi với đội nhỏ.

Quyết định mở rộng theo kết quả và kỹ năng

Nhân viên hỗ trợ khách hàng thực hành xử lý yêu cầu không có gợi ý AI để kiểm tra kỹ năng độc lập.

Chỉ mở rộng ở những nhóm việc vượt ngưỡng chất lượng, có chi phí trên mỗi trường hợp đạt chuẩn cải thiện và chỉ số kinh doanh đi đúng hướng. Dừng hoặc thu hẹp thử nghiệm nếu xuất hiện lỗi thuộc diện phải dừng hoặc chất lượng giảm quá mức đã định, dù thời gian xử lý ngắn hơn. Khi kết quả trái chiều giữa các loại việc, quyết định theo từng loại thay vì lấy mức trung bình của cả bộ phận.

Đánh giá thêm khả năng nhân viên nhận ra câu trả lời sai, giải thích cách sửa và xử lý một trường hợp tương đương khi không có gợi ý AI. Nghiên cứu về nhân viên hỗ trợ khách hàng ghi nhận người ít kinh nghiệm cải thiện cả tốc độ lẫn chất lượng khi có trợ lý AI, còn nhóm nhiều kinh nghiệm nhất chỉ tăng tốc nhẹ và giảm nhẹ chất lượng. Vì tác động khác nhau theo trình độ, bảng xếp hạng lượt gọi AI cho cả đội có thể bỏ sót đúng năng lực mà doanh nghiệp cần duy trì.

Đọc thêm: