AI 교육, 수료율만 재면 효과를 놓친다…업무별 전후 지표를 세워라

기업의 생성형 AI 교육 효과를 측정하려면 교육생이 실제로 맡는 과업을 정하고, 교육 전후의 완료시간·처리량·오류·재작업을 같은 기준으로 기록해야 한다. 교육 직후에는 비슷한 난도의 과제로 수행 능력을 확인하고, 30일 뒤에는 현업에서 같은 종류의 업무가 어떻게 달라졌는지 추적하는 순서를 제안한다.

접속률과 수료율은 교육이 전달됐는지 보여주지만, 배운 내용을 업무에 적용했는지까지 말해주지는 않는다. 미국 질병통제예방센터(CDC)의 교육 효과 평가 지침은 교육 전후의 학습 변화와 직장 복귀 후의 적용 여부를 구분해 평가하고, 현업 적용은 시간을 두고 확인하도록 권한다. 수료 현황은 운영 지표로 남기되, 효과 판단에는 실제 과업의 전후 기록을 함께 놓아야 한다.

측정 단위는 교육생이 아니라 과업이다

평가를 시작할 때는 ‘AI를 사용했는가’보다 ‘어떤 일을 끝냈는가’를 먼저 정한다. 같은 교육을 받아도 고객 상담원에게는 해결한 문의와 재문의가, 개발자에게는 완료 작업과 수정에 든 시간이 중요하다. 서로 다른 직무의 결과를 하나의 평균 사용률로 합치면 어느 업무에서 변화가 났는지 알기 어렵다.

Microsoft·Accenture와 익명의 포천 100대 기업에서 개발자 4,867명을 대상으로 한 현장실험 통합 분석에서는 AI 코딩 보조 도구 이용자의 완료 작업이 26.08% 증가했다. 개별 실험의 추정치에는 변동이 있었다. 이 수치는 해당 도구를 사용한 개발자의 작업 완료량에 관한 결과이므로, 사내 교육을 받은 모든 직무의 성과나 산출물 품질을 예상하는 값으로 옮길 수 없다.

정보통신정책연구원(KISDI)의 AI 노동 분석은 덴마크 노동자 연구에서 AI 챗봇 이용에 따른 체감 시간 절약이 평균 근로시간의 2.8%였다고 소개하며, 업무 절차 재설계와 조직 시스템 최적화 같은 보완 투자의 필요성도 짚는다. 앞선 개발자 실험은 완료 작업을, 덴마크 연구는 노동자가 보고한 시간 절약을 다룬다. 측정 대상과 방법이 다른 만큼 두 수치로 교육 투자수익을 계산하기보다 회사가 개선하려는 과업과 결과를 먼저 특정하는 편이 타당하다.

직무별로 완료량과 품질을 짝지어 고른다

지표는 교육 과정 이름이 아니라 시작과 끝이 분명한 업무에 붙인다. ‘고객 응대에 AI 활용’처럼 넓게 쓰는 대신 ‘접수된 문의의 답변 초안 작성부터 최종 해결까지’처럼 측정 범위를 좁힌다. 완료 기준, 측정 시점, 기록 장소를 교육 전에 합의해야 전후의 숫자가 같은 뜻을 갖는다.

각 과업에는 생산성 지표와 품질 지표를 함께 둔다. 초안 작성 시간이 줄어도 검토와 수정에 더 오래 걸렸다면 전체 업무가 빨라진 것은 아니다. 처리 건수가 늘어도 오류나 재문의가 함께 증가했다면 개선으로 판정하기 어렵다.

• 고객 상담: 문의 한 건의 최종 해결시간과 일정 기간의 해결 건수를 기록한다. 잘못된 안내로 다시 연락한 건수, 상담원이 답변을 수정한 시간도 함께 본다.
• 마케팅·콘텐츠: 승인된 문안 한 건을 만드는 데 걸린 총시간을 잰다. 초안 생성뿐 아니라 사실 확인, 브랜드 표현 수정, 재승인에 투입된 시간까지 포함한다.
• 소프트웨어 개발: 팀이 정의한 완료 작업 수와 작업당 소요시간을 기록한다. 이후의 수정 요청과 코드 검토 시간도 살펴 완료량 증가가 추가 검토 부담으로 이어졌는지 확인한다.
• 채용·인사 운영: 면접 요약이나 내부 문의 답변처럼 반복되는 과업을 골라 완료시간을 잰다. 핵심 정보 누락, 잘못 옮긴 내용, 담당자의 재확인 시간은 별도로 기록한다.

모든 직무에 모든 지표를 적용할 필요는 없다. 팀이 개선하려는 결과 하나를 주지표로 삼고, 그 결과를 왜곡할 수 있는 오류나 재작업 지표를 함께 둔다. 업무량이 일정하지 않다면 총 처리 건수와 함께 건당 시간이나 오류율도 확인한다. ‘완료’에 초안만 넣는지, 검토를 통과한 최종 결과물만 넣는지도 미리 정해야 한다.

교육 전·직후·30일 뒤를 한 평가표에 담는다

세 시점에서 과업 유형과 판정 기준을 이어 놓으면 교육장에서 익힌 능력과 현업에서 나타난 변화를 구분할 수 있다. 교육 전에는 기준선을, 직후에는 과제 수행 능력을, 이후에는 실제 업무 적용을 확인한다. 30일은 첫 추적 시점으로 제안하는 기간이며, 과업 주기가 길다면 비교할 만한 사례가 쌓인 뒤 측정한다.

1. 교육 전 기준선: 대상자가 평소 수행하던 같은 종류의 과업에서 완료 건수, 건당 총 소요시간, 오류와 재작업을 기록한다. 접수부터 최종 승인까지 어디를 ‘완료’로 볼지 정하고, 단순 업무와 복잡한 업무를 구분한다. 기존 AI 사용 경험과 측정 기간에 달라질 업무 배정도 남긴다. 기준선이 없으면 직후 성과가 좋아 보여도 원래 숙련도와 구별하기 어렵다.
2. 교육 직후 과제: 교육 전 과제와 난도가 비슷한 실제형 과업을 주고 제출 결과를 평가한다. 완료시간은 AI에 요청을 입력한 시점부터 사실 확인, 수정, 최종 승인까지 잰다. 채점 기준에는 핵심 정보의 정확성, 누락 여부, 회사의 업무 규칙 준수를 넣는다. 이 단계는 배운 내용을 수행할 수 있는지 보여주지만 현업에서 지속해서 쓰는지까지 보여주지는 않는다.
3. 30일 현업 추적: 같은 업무 유형의 완료 기록을 다시 모아 기준선과 비교한다. AI를 적용한 과업의 비율, 최종 처리량, 검토시간, 오류와 재작업을 함께 본다. 교육생에게 사용 여부만 묻지 말고 어느 단계에서 썼으며 사용하지 못했다면 이유가 무엇인지 확인한다. 업무 기회나 사용 권한이 부족했다면 교육 내용과 현장 적용 조건을 구분해 적는다.

평가표에는 ‘업무 유형, 완료 기준, 교육 전 값, 직후 과제 값, 현업 추적 값, 품질 지표, 업무 조건 변화’를 열로 두면 된다. 수료 인원과 교육 만족도는 별도 운영 항목으로 관리할 수 있다. 투자 효과를 보고할 때에는 현업에서 끝난 과업의 양과 품질, 그 결과에 든 총시간을 중심에 놓는다.

통제집단이 없다면 비교할 업무 조건부터 맞춘다

교육을 받지 않은 집단을 따로 두기 어렵다면 같은 팀의 같은 과업을 전후로 비교하되, 난도와 접수 물량을 먼저 맞춘다. 예를 들어 교육 후에 단순 문의가 많아졌다면 평균 해결시간의 감소를 곧바로 교육 성과로 볼 수 없다. 가능한 한 업무 유형별로 나누고, 드물게 오래 걸리는 건이 평균을 크게 흔들 때는 중앙값도 함께 살핀다.

완료량을 사람당 건수로 제시한다면 실제 업무시간과 들어온 일의 양도 기록한다. 오류는 전체 완료 건수 가운데 오류가 난 비율로, 재작업은 다시 손봐야 했던 건수와 추가 시간으로 볼 수 있다. 측정 기간이나 물량이 다를 때는 단순 총량보다 같은 단위의 비율과 건당 시간을 우선한다. 사례가 적은 팀이라면 몇 건의 특이한 업무가 전체 결과를 바꿀 수 있으므로 각 기간의 과업 수와 난도 분포를 함께 표시한다.

도구 접근 권한, 모델, 인력 배치, 승인 절차가 같은 기간에 바뀌었다면 평가표에 남겨야 한다. 그런 변화가 겹치면 전후 차이를 교육만의 효과로 단정할 수 없다. 비교집단이 없다면 결과는 ‘교육 후 관찰된 변화’로 표현하고, 직후 과제의 수행 결과와 현업 적용 기록을 함께 살펴 해석한다.

절약한 시간에는 검토와 재작업을 포함한다

교육 투자 판단에는 초안 작성 속도보다 승인된 결과물 한 건에 든 총시간이 유용하다. 교육 전후의 건당 시간에 검토·수정·재처리 시간을 포함하고, 품질 기준을 통과한 결과물만 완료 건수에 넣는다. 그래야 초안을 빠르게 만든 뒤 다른 담당자에게 넘긴 검토 부담도 업무 결과에 반영된다.

절약된 업무시간을 추정하려면 난도가 비슷한 과업의 교육 전후 총시간 차이를 구한다. 교육 참여에 쓴 근무시간과 교육비는 별도로 놓아 추가 투자 여부를 판단한다. 시간 절약을 금전적 효과로 바꾸려면 조직의 인건비 기준뿐 아니라 그 시간을 실제로 다른 업무에 쓸 수 있었는지도 확인해야 한다. 단순히 처리시간이 줄었다는 이유만으로 같은 금액의 비용이 사라졌다고 계산하면 효과를 과장하게 된다.

품질을 유지하면서 총시간이 줄어든 과업은 교육 내용을 확대할 후보가 된다. 직후 과제만 좋아지고 현업 결과가 달라지지 않았다면 사용 권한, 업무 배정, 검토 절차를 살펴볼 필요가 있다. 반대로 처리량과 함께 오류가 늘었다면 속도 개선보다 정확성과 재작업 비용을 먼저 평가해야 다음 교육이나 업무 흐름에 투자할 근거가 선다.

함께 읽기:

• 주 4일제와 압축근무는 다르다…성과를 가르는 건 근로시간 감축
• YouTube 조회수가 늘어도 수익은 그대로일 수 있다, 지표가 둘로 갈린 이유
• AI 교육은 두 배 늘었는데 56%는 배울 근무시간이 없었다