AI 업무 평가
AI 에이전트 업무 성과 평가: 완료율·재작업률 측정법
발행
완료율은 맡은 업무 중 종료 조건을 충족한 비율이고, 재작업률은 완료 처리 뒤 수정이나 재실행이 발생한 비율입니다. 두 지표를 같은 업무 묶음과 같은 기준으로 함께 보면 AI 에이전트가 일을 끝냈는지뿐만 아니라 결과를 다시 손보는 빈도까지 파악할 수 있습니다. 평가의 출발점은 업무 1건의 정의와 완료 조건을 고정하는 데 있습니다. 수치만 비교하지 말고 분모와 재작업 원인까지 기록해야 운영 개선으로 이어집니다.
평가 단위와 지표 정의
평가 단위부터 고정합니다. B2B SaaS에서는 요청 1건을 업무 단위로 정하고, 접수 시각과 담당 에이전트, 필요한 도구 범위를 기록합니다. 완료는 화면에 결과가 나타난 시점이 아니라 사전에 정한 검증 항목을 통과하고 다음 단계로 넘길 수 있는 상태로 정의하며, 중간 산출물만 남은 요청은 완료로 세지 않습니다. 승인 대기와 오류 복구를 한 상태로 묶으면 수치가 흔들리므로 접수·실행·검토·완료·재작업의 5개 상태를 분리해 같은 기준으로 집계합니다. 업무가 여러 도구를 거치면 각 도구의 성공 응답을 최종 완료로 오인하지 않도록 마지막 승인 상태를 기준으로 삼습니다.
완료율 산식과 종료 조건
계산은 단순합니다. 완료된 고유 업무 수를 배정된 고유 업무 수로 나눈 값에 100을 곱합니다. 예를 들어 평가 묶음이 10건이고 종료 조건을 통과한 업무가 8건이면 완료율은 80%이며, 한 요청을 3회 실행했어도 업무 수는 1건으로 셉니다. 입력 부족으로 시작하지 못한 요청과 운영자가 취소한 요청은 분모에서 빼되, 제외 사유와 기준을 함께 기록해야 기간별 비교가 유지됩니다. 완료 처리 뒤 다시 열린 업무는 완료율에 소급해 반영하지 않고 재작업률에 넣어 두 지표가 같은 문제를 중복 설명하지 않게 합니다.
재작업률 산식과 원인 기록
재작업률은 재처리된 고유 업무 수를 완료된 고유 업무 수로 나눈 뒤 100을 곱합니다. 예를 들어 완료 업무가 20건이고 그중 3건이 수정 지시로 다시 열렸다면 재작업률은 15%입니다. 한 업무가 2번 되돌아가도 재작업 업무 수는 1건으로 세고, 반복 횟수는 별도 항목으로 남깁니다. 원인도 숫자만큼 중요합니다. 입력 부족은 입력 단계에서, 권한 거절은 연결 단계에서 드러납니다. 원인 코드는 1개 선택하게 하고 자유 메모는 보충 기록으로 둡니다. 재작업률이 올랐다는 사실만 보고 에이전트의 판단 문제로 단정하면 사람 승인 절차나 원천 데이터 문제를 놓칠 수 있습니다.
두 지표의 해석과 운영 기준
두 지표는 한 점수로 합치지 않습니다. 완료율이 높고 재작업률이 낮으면 현재 업무 정의와 실행 흐름의 정합성을 읽는 출발점이 됩니다. 완료율은 높은데 재작업률도 높다면 빠르게 끝내는 대신 검증 단계가 약하거나 종료 조건이 느슨한 상태일 수 있어 재작업 사유별 건수를 먼저 나눕니다. 완료율이 낮고 재작업률이 낮다면 배정 업무의 난도, 권한 부족, 입력 누락 때문에 시작 또는 완료까지 못 간 경우를 따로 봅니다. 두 수치가 모두 낮으면 업무 범위와 연결 도구를 축소한 뒤 1개 흐름으로 재측정하고 결과를 이전 평가 묶음과 비교합니다.
로그 기록과 검토 방식
로그 설계는 평가의 기초입니다. 업무 ID 1개마다 배정 시각, 실행 횟수, 종료 시각, 최종 상태, 재작업 여부, 원인 코드를 남기면 완료율과 재작업률을 같은 행에서 연결할 수 있습니다. 사람의 수정 지시가 채팅으로만 남으면 재작업 판정이 누락되므로 수정 전후 결과와 승인 상태를 업무 ID에 묶습니다. 검토는 배포 전후처럼 비교 기준이 분명한 시점에 같은 업무 유형끼리 진행하고 전체 평균만 보지 말고 권한 오류가 있는 묶음과 입력 누락이 있는 묶음을 따로 집계합니다. 마지막으로 2개 지표의 값보다 분모와 제외 규칙이 바뀌었는지 먼저 확인해야 기록이 이어집니다.
핵심 요약
- 완료율은 배정된 고유 업무 중 종료 조건을 통과한 업무의 비율로 계산합니다.
- 재작업률은 완료 뒤 다시 열린 고유 업무를 기준으로 산출하고 반복 횟수는 별도로 기록합니다.
- 두 지표를 함께 봐야 빠른 처리와 결과 품질 사이의 불균형을 파악할 수 있습니다.
- 수치 비교 전 분모와 제외 규칙이 동일한지 먼저 확인해야 합니다.
자주 묻는 질문
완료율은 실행 횟수로 계산하나요?
아닙니다. 완료율은 실행 횟수가 아니라 고유 업무 수로 계산합니다. 한 요청이 3회 실행돼도 배정 업무 1건으로 기록하고 실행 횟수는 별도 지표로 남깁니다.
재작업률의 분모는 무엇인가요?
분모는 같은 평가 구간에서 완료된 고유 업무 수입니다. 완료 뒤 다시 열린 업무가 3건이고 완료 업무가 20건이면 재작업률은 15%로 계산합니다.
완료율이 높으면 성과가 좋은가요?
완료율 하나만으로는 판단하지 않습니다. 완료율이 높아도 재작업률이 함께 높으면 종료 조건이나 검증 절차가 약할 수 있으므로 2개 지표를 같이 해석해야 합니다.
재작업 원인은 어떻게 기록하나요?
업무마다 원인 코드 1개를 우선 선택하고 자유 메모를 보충 기록으로 둡니다. 입력 부족과 권한 거절처럼 처리 단계가 다른 원인을 분리해야 개선 대상이 선명해집니다.
— Monetai · monetai.io