Human-in-the-loop는 안전장치가 아니다. 규제 준수 라벨이 붙은 UX 문제다.

def route(decision, confidence, impact):
    # High-impact actions always get a human, whatever the confidence
    if impact == 

여기서 중요한 두 가지 세부 사항이 있습니다. 첫째, 자신감만으로는 충분하지 않습니다. 모델은 확신을 가지고 틀릴 수 있으며, 여러 모델의 원시 점수는 보정(calibrated)이 잘 되어 있지 않습니다. 임계값(threshold)을 신뢰하기 전에 별도로 분리된 데이터(held-out data)에서 보정을 확인하고, 자신감에 영향 규칙(impact rule)을 결합해야 합니다. 둘째, 자동 승인 항목에 대한 감사 샘플(audit sample)이 여러분의 임계값이 여전히 올바른지 알아내는 방법입니다.

## 실패 모드 2: 검토자가 추론 과정을 재구성해야 하는 경우

두 번째 실패는 모델의 답변만 보여주고 다른 것은 아무것도 보여주지 않는 검토 화면입니다. 검토자는 이제 두 가지 임무를 갖게 됩니다. 작업을 처음부터 다시 하거나, 아니면 그 답변을 신뢰하는 것입니다. 시간적 압박 속에서 그들은 답변을 신뢰합니다.

예시: 대출 서류 추출 도구가 '연간 수입: 84,000'이라고 표시합니다. 이를 확인하기 위해 검토자는 22페이지 분량의 PDF를 열고 수동으로 검색합니다. 그들은 그것을 조심스럽게 두 번 수행한 후 중단합니다.

좋은 검토 화면은 모델이 의존했던 정확한 입력(input)을 보여줍니다: 원본 문서에서 강조 표시된 범위(highlighted span), 점수를 유도한 필드, 에스컬레이션(escalation)을 촉발한 규칙입니다. 검증은 조사가 아니라 한눈에 파악하는 것이 됩니다. 모델이 무엇을 사용했는지 노출할 수 없다면, 더 많은 검토자를 추가하기 전에 고쳐야 할 부분입니다.

## 실패 모드 3: 재정의(Overriding)가 승인보다 어려운 경우

'승인'은 한 번의 클릭으로 되지만 '거부'는 필수 필드 여섯 개가 있는 양식을 여는 경우, 여러분은 무언가를 승인하도록 설계된 시스템을 만든 것입니다.

재정의 경로는 승인 경로만큼 저렴해야 합니다: 수정하기 위한 하나의 동작, 선택적이고 짧은 이유, 그리고 자동으로 캡처되는 수정된 값입니다. 모든 재정의는 원래 출력물, 수정 내용, 누가 했는지, 언제 했는지와 함께 기록되어야 합니다.

그 로그는 서류 작업이 아닙니다. 그것은 여러분이 가진 가장 유용한 데이터셋이며, 모델이 정확히 어디에서 실패하는지 그리고 여러분의 임계값이 올바른 위치에 설정되었는지 알려주기 때문입니다.

## 실패 모드 4: 검토자를 아무도 측정하지 않는 경우

검토 행동을 추적하지 않으면, 루프가 조용해질 때 알아차리지 못할 것입니다. 주목할 만한 몇 가지 신호들이 있습니다:

-   검토당 소요 시간 (갑작스러운 감소는 경고 신호)
-   시간에 따른 재정의율(Override rate) (거의 0에 가까운 것은 안심하기보다 의심스럽다)
-   검토자가 승인했던 감사 샘플에서 발견된 오류

이 지표들은 'Human-in-the-loop'가 여전히 무언가를 하고 있는지 알려줍니다.

## 재정의 관점 (The reframe)

'Human-in-the-loop'는 사실 그 앞에 있는 모델과 관련된 주의 집중 할당(attention-allocation) 문제입니다. 이 모델의 임무는 무엇을 건너뛰어도 안전한지 결정하는 것입니다. 인터페이스의 임무는 남아있는 결정을 빠르고 정확하게 내리도록 하는 것입니다. 그리고 로그의 임무는 이 둘 중 어느 하나가 작동을 멈췄는지 보여주는 것입니다.

저희는 Cyclopt에서 이것에 대해 많이 생각합니다. 왜냐하면 코드베이스를 건드리는 모든 AI 액션은 같은 질문을 제기하기 때문입니다. 즉, 어떤 부분에 사람이 필요한지, 그리고 그 사람의 검토가 얼마나 의미 있는지를 어떻게 만들 것인가 하는 문제입니다.

그래서 여러분께 드리고 싶은 질문이 있습니다. 여러분의 Human-in-the-loop 검토 대기열에서 재정의율은 얼마이며, 그것을 실제로 알고 계십니까?