나의 현명한 친구와 나 #2: 결정을 두 번 나누어 하기

저는 식품 산업 분야에서 평범한 사무직으로 일하고 있습니다. 주로 기획 업무를 맡고 있으며 엔지니어링은 하지 않습니다. 그리고 그 업무 전후의 시간을 활용해 이 AI 프로젝트를 구축하고 있습니다. 저는 3년 동안 관중석에서 AI를 지켜보기만 하다가, 올해 처음으로 터미널 (terminal)을 열었습니다. 이번 주는 제 프로젝트에 대한 저의 주요 기여가 조용히 무엇으로 변했는지 깨닫게 된 주였습니다. 바로 제가 병목 현상 (bottleneck)이 되어버렸다는 사실입니다.

내가 잘못 읽고 있었던 문장

"인간이 병목 현상이다." 저는 이 문장을 여러 번 읽었지만, 솔직히 말해서 칭찬의 형태를 띤 불평으로 받아들였습니다. '내가 얼마나 많은 일을 책임지고 있는지 봐.' 라고 말이죠.

그러고 나서 제 시간이 실제로 어디에 쓰이는지 살펴보았습니다. 긴 AI 답변을 면밀히 읽는 데 시간을 보냈습니다. 그러고 나서 제가 완전히 이해하지 못한 것을 승인하거나, 아니면 또 다른 긴 답변을 읽어야 하는 후속 질문을 던졌습니다. 저는 아무것도 조종하고 있지 않았습니다. 저는 교정 (proofreading)을 하고 있었을 뿐입니다.

깨달음이 온 지점은 이것입니다: "인간이 병목 현상이다"는 처방이 아니라 진단입니다. 저 자신을 제거하는 것이 해결책도 아니고, 더 빨리 읽는 것도 해결책이 아닙니다. 해결책은 결정을 두 개의 더미로 나누는 것입니다.

더미 1 — 오직 나만이 답할 수 있는 것. 우리가 어떤 문제를 해결하고 있는가. 목표는 무엇인가. 무엇을 성공으로 간주하며, 어떻게 검증할 것인가. 누가 검토하는가. 되돌릴 수 없는 경계는 어디인가 — 즉, 나 없이는 절대 일어나서는 안 되는 일은 무엇인가. 이것들은 밀도 있고 느린 대화를 필요로 하며, 초기에 다뤄져야 합니다.

더미 2 — 더미 1에서 파생된 모든 것. 보통 제가 잘 모르는 영역이며, 결과에 의미 있는 영향을 미치지 않는 것들입니다. AI가 결정하고, 진행하며, 무엇을 결정했는지 기록합니다.

두 더미의 이름을 짓는 데는 10분이 걸렸습니다. 어려운 점은 그 사이의 경계가 표류한다는 것입니다. 항상 더미 1 쪽으로 흐르는데, 왜냐하면 저에게 묻는 것이 모델에게는 안전하게 느껴지고 저에게는 통제하고 있다는 느낌을 주기 때문입니다. 그래서 경계에는 자체적인 감독이 필요했습니다. 두 명의 검토자:

1. 자율성 게이트 (An autonomy gate). 현재 계획된 상태 그대로, 인간의 개입 (human in the loop) 없이 실행하는 것이 안전한가? 통과된다면, 자율적인 구간 (autonomous stretch)이 시작됩니다.
2. 대화 깊이 체크 (A conversation-depth check). 대화 구간에서, AI가 스스로 결정할 수 있었거나 파일에서 찾아볼 수 있었던 것들을 나에게 묻고 있는가? 나를 필요로 하지 않는 세부 사항을 계속해서 확대하고 있는가?

나는 같은 날 이것을 전역 규칙 (global rule)으로 만들었습니다. 그 형태는 다음과 같습니다:

• 모든 결정 지점에 대한 두 가지 축: 위험 (risk) (만약 이것이 틀렸을 때, 최종적인 결과가 되돌릴 수 없는가?) 그리고 권한/정보 (authority/information) (이것이 오직 나만이 아는 것이나 나만이 승인할 수 있는 것을 필요로 하는가?).
• 그 판단으로부터 나오는 네 가지 경로: AI가 결정함 / 원본 자료와 대조하여 검증함 / 인간에게 질문함 / 안전하게 중단함. 네 번째 경로는 내가 존재한다는 사실을 계속 잊어버리는 것인데, 즉 '낮은 신뢰도와 높은 영향력'이 결합되면 추측하고 진행하는 것이 아니라 중단하고 보고해야 한다는 것입니다.
• 두 단계: 합의 단계 (agreement phase), 그 다음 자율 단계 (autonomous phase), 그리고 그 사이를 가로막는 게이트.
• 교정 루프 (A calibration loop): 이는 내가 스스로 맞혔을 가능성이 가장 낮은 부분인데, 왜냐하면 이 루프는 '나의 판단에 대한 나의 판단'을 신뢰하지 않기 때문입니다. 경계는 느낌으로 설정되는 것이 아니라, 두 가지 측정된 비율에 의해 이동됩니다. 자율성 역전율 (Autonomous-reversal rate): 내가 AI가 단독으로 내린 결정을 뒤집는 빈도 — 이 비율이 높으면 해당 영역을 다시 대화 영역으로 가져와야 합니다. 불필요한 질문율 (Unnecessary-question rate): AI가 스스로 해결할 수 있었던 것을 나에게 물어본 빈도 — 이 비율이 높으면 해당 영역을 자율성 쪽으로 밀어내야 합니다.

같은 날 아침, 두 번째 아이디어가 나왔습니다: 프로젝트당 세 가지 노트. 사실 노트 (무엇이 사실인지, 출처와 함께). 결정 노트 (왜 이것을 선택했는지, 그리고 — 가장 중요한 필드인 — 누가 결정했는지: 나인지, 아니면 AI 단독인지, 그리고 이후의 판결: 유지됨, 뒤집힘, 폐기됨). 프롬프트 노트 (대화의 이력). 단순히 "AI가 내린 결정"의 횟수를 세는 것은 유용한 정보를 주지 않습니다. _AI가 내린 결정 × 나중에 뒤집힌 횟수_는 어디를 검토하거나 자율성을 좁혀야 하는지에 대한 구체적인 신호를 제공합니다.

그러고 나서 나는 이 모든 것을 두 번 구축했습니다

불편한 지점은 바로 여기입니다. 그 규칙은 내가 오전 내내 작업해 온 세션, 즉 그 아이디어를 만들어낸 모든 혼란을 지켜본 세션에 의해 작성되었습니다. 이는 정확히 말하자면, 자기 자신의 숙제를 스스로 채점하게 해서는 안 되는 바로 그 세션입니다.

그래서 그날 오후, 나는 아무런 맥락(context)도 없는 새로운 최상급 세션에 동일한 프롬프트(prompt)를 전달했습니다. 완전히 깨끗한 상태(Clean room)로 말이죠. 그런 다음 두 버전을 나란히 놓고 하나로 병합했습니다.

나는 둘 중 하나가 승리할 것이라고 예상했습니다. 하지만 둘 다 읽어본 결과, 나는 층위(layer)별로 분리된 결과물을 발견했습니다.

이 비교에서, 맥락을 유지하고 있던 세션은 핵심(core) 부분에서 더 강력했습니다. 게이트(gate)의 통과 조건에 대한 정밀함, 결정권자 분류 체계(decision-maker taxonomy)를 포함한 데이터 모델(data model), 그리고 무엇을 어디에 복사하지 말아야 하는지에 대한 위생 규칙(hygiene rules) 등이 그러했습니다. 이는 마치 특정 지점에서 고생해 본 사람이 작성한 것처럼 읽혔는데, 실제로 그랬기 때문입니다.

클린룸(clean-room) 버전은 계측(instrumentation), 집행(enforcement), 그리고 자동화(automation)를 추가했습니다. 이는 다른 버전에는 전혀 없었던 네 가지 요소입니다. 각 게이트의 판단을 문서 차이(document diff)로서 감사(auditable)할 수 있게 만드는 서면 계약, 정량적 보정 루프(quantitative calibration loop, 앞서 언급한 두 가지 비율), 결정 로그를 학습 자료로 변환하는 JSONL 내보내기(export), 그리고 AI가 나에게 질문을 하기 _직전_에 실행되는 리마인더 훅(reminder hook) 등이 그것입니다.

그 목록을 다시 보십시오. 클린룸 버전은 규칙이 제대로 작동하는지 측정하는 기계 장치를 구축했습니다. 규칙을 발명한 세션은 그 간극을 볼 수 없었습니다. 그 세션 자체가 곧 규칙이었기 때문입니다. 이해관계(Skin in the game)는 정밀함을 사오는 대신 관점(perspective)이라는 비용을 치르게 합니다.

최종 버전은 맥락을 가진 세션의 핵심(core)에 클린룸의 계측 층위(instrumentation layer)를 더한 것입니다.

두 번 작업하는 것이 낭비였을까?

비용: 동일한 작업을 두 번 수행, 두 개의 맥락, 반나절의 시간. 수익: 어떤 조건에서 어떤 층위를 신뢰해야 하는지에 대한 가설 — 이제는 추측하는 대신 다음 규칙에 바로 테스트해 볼 수 있는 가설입니다. 따라서 이것은 법칙이 아니라 하나의 실용적인 경험칙(rule of thumb)입니다:

• 문제를 직접 겪은 세션에서 **핵심(core)**을 초안 작성한다.
• 문제를 전혀 본 적 없는 세션에서 **측정 및 집행(measurement and enforcement)**을 초안 작성한다.
• 둘을 병합한다. 하나를 선택하지 마라.

이 중 어느 것도 새로운 아이디어는 아닙니다. 작성자(author)와 검토자(reviewer)를 분리하는 것은 모든 팀이 이미 알고 있는 사실입니다. 저를 놀라게 한 점은 이것이 사람뿐만 아니라 _도구(tool)_에도 적용된다는 사실이었습니다. 저는 더 많은 컨텍스트(context)가 엄격하게 더 나을 것이라고 가정해 왔습니다. 하지만 그렇지 않습니다. 컨텍스트는 렌즈와 같습니다. 중앙은 더 날카롭지만, 가장자리로 갈수록 휘어집니다.

그리고 농담 같은 상황이 벌어집니다. 저는 결정을 더 적게 내리기 위해 시작했는데, 그 즉각적인 대가는 어떻게 하면 결정을 더 적게 내릴 것인가에 대한 두 개의 추가적인 결정이었습니다. 저는 기꺼이 다시 그런 거래를 할 것입니다.