모든 AI 배포(deployment) 논의 과정에는 보안 담당자들이 움찔할 만한 순간이 있습니다.

누군가 이렇게 말하죠: "걱정 마세요, Human in the Loop(인간 참여형) 방식이니까요."

그러면 모두가 고개를 끄덕입니다.

그 끄덕임이 왜 위험한지 말씀드리겠습니다.

"Human in the Loop"의 실제 의미

오늘날 대부분의 조직에서 AI 출력이 어떻게 비즈니스 액션으로 이어지는지 살펴보겠습니다:

1. LLM(대규모 언어 모델)이 고객 지원 티켓의 요약본을 생성합니다.
2. 사람이 회의 사이의 짧은 시간에 이를 빠르게 읽습니다.
3. 사람이 보기에 괜찮아 보여서 "전송"을 클릭합니다.
4. 출력이 액션이 되고, 고객은 그 응답을 받게 됩니다.

과정 중에 Human in the Loop(인간 참여형)가 있었나요? 네. 검증(verification)이 있었나요? 거의 없었습니다.

"사람이 이것을 보았다"와 "사람이 적절한 맥락, 권한, 책임을 가지고 이것을 검증했다" 사이의 간극이 바로 대부분의 AI 리스크가 존재하는 지점입니다.

"Human in the Loop"의 세 가지 환상

환상 1: 존재 = 검증

단순히 사람이 AI 출력을 본다고 해서 그것을 검증했다는 뜻은 아닙니다. 연구에 따르면 AI 보조 워크플로우(workflows)에 참여하는 인간은 다음과 같은 경향을 보입니다:

• AI의 제안을 80% 이상의 확률로 수용함 (자동화 편향 (automation bias))
• 조치를 취하기 전 AI가 생성한 콘텐츠를 검토하는 데 3초 미만을 사용함
• 내용이 사실과 다르더라도 형식이 잘 갖춰져 있으면 출력을 승인할 가능성이 더 높음

사람이 실제로 확인하지 않는다면 그 통제(control)는 작동하지 않는 것입니다.

환상 2: 친숙함 = 권한

AI 출력을 검토하는 사람이 결정을 내려야 하는 적임자인 경우는 드뭅니다.

실제 사례:

• 주니어 지원 요원이 AI가 초안을 작성한 에스컬레이션(escalation) 권고안을 검토합니다.
• 개발자가 매니저가 보지 못하는 AI 생성 코드 변경 사항을 승인합니다.
• 컴플라이언스(compliance) 담당자가 AI가 초안을 작성한 규제 신고 서류에 서명합니다.

"Human in the Loop"는 종종 잘못된 사람이며, 존재하기는 하지만 권한이 없습니다.

권한 없는 존재는 통제가 아니라 연극(theatre)일 뿐입니다.

환상 3: 사후 감독 = 예방

일부 팀은 "Human in the Loop"를 다음과 같이 해석합니다: "AI 결정이 내려진 후에 우리가 감사(audit)하면 된다."

이것은 통제가 아닙니다. 이것은 사후 분석(post mortem)입니다.

AI 출력이 이미 결제를 트리거하거나, 규제 관련 통신을 전송하거나, 운영 환경의 설정(production configuration)을 변경한 후라면, 사후에 검토하는 것은 해당 조치를 되돌릴 수 없습니다.

실행된 후에야 실패를 감지할 수 있다면, 그것은 루프(loop)가 아닙니다. 그것은 로그(log)일 뿐입니다.

실제로 작동하는 방식: 실행 전 검증 (Verification Before Execution)

Human in the loop(인간 참여형 루프)와 Human verification(인간 검증)의 차이는 간단합니다:

AI 검증 시스템에서는 다음과 같이 진행됩니다:

1. AI가 출력물, 권장 사항, 초안 또는 분석 내용을 생성합니다.
2. 검증 체크(Verification checks)를 실행합니다. 출처로 인용된 내용이 실제인가? 인간이 이 조치에 대한 권한을 가지고 있는가? 범위가 정책 내에 있는가?
3. 인간은 단순한 출력물이 아니라, 검증 결과(verification findings)를 포함한 맥락(context)을 바탕으로 검토합니다.
4. 인간은 정보에 기반한 결정(informed decision)을 내립니다: 승인, 거절 또는 에스컬레이션(escalate).

이것이 바로 LumiRosh에서 말하는 실행 보증(Execution Assurance)입니다. 출력물은 증거가 아닙니다. 실행 전의 검증이 증거입니다.

이것이 지금 중요한 이유

우리는 AI 배포 속도가 통제 설계(control design) 속도보다 빠르게 가속화되는 시기에 있습니다.

• 운영 중인 AI 배포의 73%가 검증 계층(verification layer)을 갖추고 있지 않습니다 (OWASP 2026)
• 자동화된 AI 결정은 6개월마다 두 배씩 증가하고 있습니다
• 규제 압박(EU AI Act 제14조)은 이제 실질적인 인간의 감독(meaningful human oversight)을 의무화하고 있습니다

"Human in the loop"를 단순히 체크박스 채우기 식으로 취급하는 조직은 고통스러운 방식으로 컴플라이언스(compliance) 격차를 발견하게 될 것입니다.

진정한 검증 체계를 구축하는 조직은 이를 증명할 감사 추적(audit trail)을 보유하게 될 것입니다.

결론

만약 귀하의 AI 배포 과정에서 인간이 출력물 근처 어딘가에 존재하기만 한다면, 귀하는 통제(control)를 갖춘 것이 아닙니다.

통제를 갖추고 있다는 착각을 하고 있을 뿐입니다.

검증은 좌석 배치(seating chart)의 문제가 아니라 설계(design)의 문제입니다. 만약 인간이 조치를 취하기 전에 확인하도록 준비되어 있지 않고, 권한을 부여받지 못했으며, 확인하도록 요구되지 않는다면, 그들은 루프 안에 있는 것이 아닙니다. 그들은 방해물일 뿐입니다.

저는 LumiRosh Research에서 AI 실행 검증 (AI Execution Verification)을 담당하며, 출력이 행동으로 전환되는 지점과 인간의 판단이 더 강력한 통제 지점 (control point)을 필요로 하는 지점을 매핑하고 있습니다.

연락처:
linkedin.com/in/himanshu-vaghela9