점과 선의 확인 — 사람이 실수할 것을 전제로 한 HITL 설계

서론: 사람을 투입했다고 해서 안전하지 않다

AI 운영에서는 '마지막은 사람이 확인한다'는 Human in the Loop (HITL)이 기본으로 여겨집니다. 하지만 사람은 반드시 실수합니다. 놓치기, 선입견, 익숙함으로 인한 확인 절차의 형식화(形骸化)는 아무리 유능한 사람에게도 일어날 수 있습니다.

그럼에도 불구하고, HITL 설계에서는 '사람이 보면 올바르게 판단할 수 있다'는 것이 암묵적인 전제인 경우가 적지 않습니다. 이 글에서는 AI 이전의 모니터링 업무에서 제가 경험했던 사례를 바탕으로, 사람이 실수하는 것을 전제로 한 확인 시스템에 대해 생각해 봅니다.

사례: 인계 시점의 확인만으로는 파악할 수 없었던 것

저는 과거 교대 근무 모니터링 업무에서 팀 리더를 맡고 있었습니다. 절차상 대상 상태를 확인하는 것은 근무 인계를 받았을 때와 다음 팀에 인계할 때, 총 2번이었습니다.

그런데 대상 중에는 근무 도중에 몇 시간 동안만 끊겼다가, 인계 시점에는 원래대로 돌아온 경우가 있었습니다. 인계 시점만을 보고 있으면, 이 단절은 기록상 존재하지 않게 됩니다.

제가 이것을 알아차릴 수 있었던 것은 제가 직접 만든 자동 툴로 1시간마다 모든 대상을 확인하고 있었기 때문입니다. 발견한 후, 시스템에 부하가 가지 않는 범위 내에서 확인 간격을 더 짧게 했습니다.

다만, 이 개선이 곧바로 조직의 절차가 되지는 않았습니다. 절차가 바뀐 것은 저 자신이 운영을 설계하는 쪽으로 자리를 옮긴 뒤였습니다. 그래서 인계 시점의 확인 외에 자동 연속 모니터링을 표준 작업 절차(SOP)에 포함시켰습니다.

• 깨달음: 인계 시점의 확인만으로는 중간 단절이 보이지 않는다
• 시스템화: 자동 툴로 정기적으로 확인하고 간격을 단축
• 정체: 현장의 개선은 즉시 조직의 절차가 되지 않았다
• 제도화: 운영 측으로 이동한 후, 자동 모니터링을 SOP에 포함시켰다

교훈 1: 점의 확인은 선의 확인을 대신할 수 없다

인계 시점의 확인이 보여주는 것은 '그 순간 정상이었다'는 것뿐입니다. '근무 시간 내내 정상이었다'는 것을 보여주지 않습니다. 시스템은 점만 보고 있는데, 운영은 선을 확인했다고 착각하고 있었습니다. 이것이 사각지대의 실체였습니다.

확인 간격은 찾고 싶은 현상의 길이보다 짧아야 합니다. 몇 시간의 단절을 발견하려면, 그보다 더 세밀하게 봐야 합니다.

반면, 간격을 짧게 할수록 비용과 부하가 증가합니다. 확인 빈도는 '무엇을 놓치고 싶지 않은가'와 '어디까지 비용을 쓸 수 있는가'의 트레이드오프(trade-off)로서 의식적으로 결정해야 하는 설계 항목입니다.

시뮬레이션으로 확인해 보기

인계 시점만의 확인으로는 단절의 약 4분의 3을 놓치게 됩니다. 이 감각을 숫자로 확인하기 위해, 단순한 모델로 시뮬레이션을 했습니다.

모델 전제 조건

• 1교대는 12시간입니다. 교대 시작 시점과 종료 시점에 인계 확인이 있습니다.
• 각 교대마다 모니터링 대상이 한 번만 단절됩니다. 시작 시간은 근무 시간 내에서 무작위, 길이는 15분~6시간으로 무작위입니다.
• 확인한 시점에 단절이 계속되면 탐지(検出)로 간주합니다.
• 20,000 교대분을 시도했습니다.

확인을 늘리면 탐지율은 올라가지만, 30분부터는 확인 횟수를 두 배로 해도 개선은 1포인트 정도입니다. 어디서 멈출지는 비용과의 균형을 고려한 설계 판단이 됩니다.

60분 간격의 확인으로는, 1시간보다 짧은 단절을 놓칠 수 있습니다. 반면, 1시간보다 긴 단절은 모두 탐지하고 있습니다. 확인 간격보다 짧은 이상은 놓칠 수 있다는 것을 숫자로 확인할 수 있습니다.

이 모델에서는 확인하는 사람의 실수(見落とし)는 없다고 가정했습니다. 실제로는 사람의 실수가 더해지기 때문에, 탐지율은 이보다 낮아집니다.

코드는 GitHub에 공개되어 있습니다. 근무 시간이나 단절 길이를 바꿔가며 시도해 볼 수 있습니다.

교훈 2: 현장의 깨달음을 시스템에 전달하는 경로도 설계해야 한다

현장 개선이 조직의 절차가 되지 못했던 이유는, 깨달음의 질이 아니었습니다. 현장의 깨달음이 절차를 결정하는 사람에게 도달하는 경로가 없었기 때문입니다.

결과적으로 절차가 바뀐 것은 깨달은 본인이 우연히 운영 측으로 자리를 옮겼기 때문입니다. 인사 발령이라는 우연이 없었다면, 사각지대는 계속 남아있었을지도 모릅니다.

개선이 개인의 도구에 머물러 있는 상태는 '우연히 막고 있다'는 상태입니다. 그 사람이 사라지면, 사각지대는 즉시 돌아옵니다. 현장에서의 깨달음을 정기적으로 수집하여 절차에 반영하는 경로 자체를 처음부터 설계에 포함시켜야 합니다.

AI의 HITL로 대체할 경우

이 구조는 AI를 활용한 업무에서도 그대로 발생합니다.

구현에 사용할 수 있는 방법들

• 출력의 연속 기록: AI의 입력, 출력, 확신도(confidence), 사람의 판단 결과를 모두 로그로 남깁니다. 나중에 '중간에 무슨 일이 일어났는지' 추적할 수 있도록 합니다.
• 분포 감시: 확신도나 출력 카테고리의 분포를 시계열로 보고 급격한 변화를 자동으로 탐지합니다.
• 덮어쓰기율(Overwriting Rate) 감시: 사람이 AI의 판단을 뒤집은 비율을 기록합니다. 이 수치가 0에 가까워진다면, 확인이 형식적인 단계가 되고 있다는 신호일 수 있습니다.
• 알려진 오류 혼합: 정답을 알고 있는 잘못된 샘플을 검토 대상에 섞어 사람의 탐지율을 주기적으로 측정합니다.
• 평가 빈도의 역산: 놓치고 싶지 않은 성능 저하 기간으로부터, 평가나 샘플링 감사의 빈도를 결정합니다.

요약

• 점(Point) 확인은 선(Line) 확인을 대체할 수 없습니다.
• 확인의 빈도는 놓치고 싶지 않은 현상의 길이와 비용에 따라 결정해야 합니다.
• 현장의 인지(気づき)를 시스템에 전달하는 경로 역시 설계의 일부입니다.

사람은 반드시 실수합니다. HITL은 사람을 투입한 시점에서 완성되는 것이 아니라, 사람이 틀릴 것을 전제로 설계하고 나서야 비로소 안전장치로서 기능할 수 있습니다.

관련 기사

이 사례를 조직 구축의 관점에서 작성한 글도 있습니다. 현장의 인지를 조직의 시스템에 전달하기 위한 4가지 노하우를 정리했습니다.

토론