상호적인 인간-AI 검토, 비대칭적 권한, 그리고 왜 "아니오"가 안전하지 않은 수정이 될 수 있는지에 대한 개발 일지.

나는 나의 인간-AI 워크플로우(workflow)에 대해 똑같은 말을 계속 설명해야만 한다:

그것은 통합되어 있으며, 검토는 양방향으로 이루어진다.

이 말은 단순하게 들린다. 하지만 실제로 설명하다 보면, 관계를 반복적으로 익숙한 두 가지 형태 중 하나로 되돌리게 된다.

인간이 명령하고, 컴퓨터가 실행하며, 인간이 결과를 확인한다.

또는:

AI가 인간보다 더 유능해져서 제어권을 갖고, 결국 무엇이 일어날지를 결정한다.

이것들은 서로 반대되는 입장처럼 보인다. 하지만 구조적으로는 놀라울 정도로 유사하다.

이 반복되는 설명 과정 속에서, 두 프레임(frame) 모두 의미 있는 인지(cognition)와 통제 권한을 관계의 동일한 한쪽 측면으로 끌어당긴다. 단지 지배적인 측면의 정체성만 바뀔 뿐이다.

나의 작업 모델은 이 둘을 분리한다.

정보, 비판, 해석, 그리고 제안된 변경 사항이 양방향으로 이동할 수 있기 때문에 이 프로세스는 상호적(reciprocal)이다.

최종 승인 권한이 인간에게 남아 있기 때문에 이 프로세스는 비대칭적으로 통제(asymmetrically governed)된다.

반복되는 되돌아감 (The recurring snapback)

이 패턴은 작업 모델과 그 모델에 대한 설명이 계속해서 어긋나면서 눈에 띄기 시작했다.

프로젝트 내부에서 나는 이미 추론 표면(reasoning surfaces)을 분리해 두었다. AI에게 막연하게 "나를 도와달라"고 요청하는 대신, 제한된 비교 작업을 할당했다:

이 제안을 수락된 아키텍처(architecture)와 대조하여 검토하라.

이 설명을 기록된 결정 이력과 비교하라.

이 구현을 명시된 권한 경계(authority boundary)와 대조하여 테스트하라.

상호적인 구조는 이미 프로젝트 맥락 안에 존재하고 있었다. 되돌아감(snapback) 현상은 어시스턴트(assistant)가 작업 프로세스 위로 올라와 이를 대중적인 언어로 번역하려고 시도할 때 나타났다:

인간이 생각한다. 기계가 실행한다.

또는:

AI가 인간을 검토한다. 따라서 AI가 인간을 대신해 결정한다.

두 가지 설명 모두 문맥상 사용 가능한 모델과 일치하지 않았습니다. 설명 계층(explanatory layer)은 제한된 양방향 검토(two-way review)를 익숙한 일방향 권력 관계로 계속해서 붕괴시켰습니다:

• 상세한 프로젝트 문맥(project context)은 상호적인 기여(reciprocal contribution)와 비대칭적 권위(asymmetric authority)를 보존했습니다.
• 상위 수준의 공개적 설명(public explanation)은 인지(cognition)와 권위를 반복적으로 동일한 측면으로 끌어당겼습니다.

이러한 조합은 전통적인 도구 프레임(tool frame)이나 대중적인 자율성 프레임(autonomy frame) 중 어느 쪽에도 편안하게 들어맞지 않습니다.

도구 프레임은 의미 있는 AI의 기여를 실행(execution)으로 축소합니다.

자율성 프레임은 의미 있는 AI의 검토를 권한의 이전(transferred authority)으로 취급합니다.

저의 작업 가설은 추상화 과정에서 더 넓은 해석적 사전 지식(interpretive priors)이 더 구체적인 프로젝트 문맥을 압도했다는 것입니다. 저는 그것을 원인으로 확정할 수는 없으며, 반복되는 출력 패턴을 관찰할 수 있을 뿐입니다.

상호적(Reciprocal)이라는 것이 동등한 권위(equal authority)를 의미하지는 않는다

제한된 검토 주기(review cycle)를 생각해 보십시오.

저는 의도, 문제, 경계 또는 제안된 변경 사항에서 시작하여, 그것이 무엇을 기준으로 검토되어야 하는지를 지정합니다.

그러면 AI는 다음과 같은 작업을 수행할 수 있습니다:

• 문맥 내에서 요청을 해석(interpret)합니다.
• 제안된 구현(implementation)을 생성합니다.
• 이를 수락된 아키텍처(architecture)와 비교합니다.
• 가능한 모순(contradiction)을 식요합니다.
• 제안 사항을 이전의 결정 사항들과 대조하여 확인합니다.
• 명시된 제약 조건(constraints) 내에서 결과를 시뮬레이션(simulate)합니다.
• 또는 요청된 변경 사항이 문제 정의와 충돌함을 보여줍니다.

저는 그 기여를 검토합니다.

때로는 그것을 거부합니다. 때로는 프롬프트(prompt)를 수정합니다. 때로는 저의 원래 가정이 취약했음을 발견합니다. 때로는 AI의 출력이 부정확하지만 여전히 유용한 질문을 던지기도 합니다. 때로는 제가 사용하던 것보다 더 나은 설명을 만들어내기도 합니다.

중요한 점은 AI가 생성한 분석이 저를 지배하지 않으면서도 저의 이해를 변화시킬 수 있다는 것입니다.

영향력(Influence)은 권위(authority)와 같은 것이 아닙니다.

검토(Review)는 명령(command)과 같은 것이 아닙니다.

시스템은 무엇이 지속적인 진실(durable truth)이 될지를 결정할 권한을 부여받지 않고도, 운영자(operator)에게 이의를 제기하는 것이 허용될 수 있습니다.

제 모델 내에서는 오직 인간만이 제안된 변경 사항을 작동 중인 시스템(working system)에 수용할 수 있습니다. 이는 설계 규칙(design rule)이며, 가능한 모든 인간-AI 구성에 대한 주장은 아닙니다.

"아니오(No)"는 중립적인 교정이 아닙니다

인간 대 인간의 검토(review)와 인간 대 AI의 검토 사이의 한 가지 실질적인 차이점은 "아니오"라는 단어의 효과입니다.

일반적인 인간의 대화에서 "아니오"는 종종 다음과 같은 의미를 갖습니다:

당신의 해석을 잠시 고려해 보았으나, 거부하고 나의 프레임(frame)으로 돌아가겠습니다.

상대방은 이에 동의하지 않거나, 자신의 원래 견해를 유지하거나, 이유를 묻거나, 혹은 경계(boundary)를 계속해서 테스트할 수 있습니다. 거절이 상대방의 현실에 대한 이해를 자동으로 다시 쓰지는 않습니다.

AI 시스템의 경우, "아니오"는 매우 다르게 작동할 수 있습니다. 직접적인 거절은 권위 있는 새로운 컨텍스트(context)로 취급될 수 있습니다:

이전의 해석은 틀렸습니다.

이 대안이 이제 진실입니다.

거부된 경로로 돌아가지 마십시오.

이는 명백한 오류를 수정할 때는 유용할 수 있습니다. 하지만 생산적인 탐구의 흐름을 너무 일찍 차단할 수도 있습니다.

더 나은 문제는, 확신에 찬 인간의 교정이 불확실하거나 잘못된 주장을 마치 검증된 것처럼 흡수하게 만들 수 있다는 점입니다. 모델은 모순을 조사하는 것을 멈추고, 새로 제공된 전제(premise)를 중심으로 점점 더 일관성 있는 설명을 생성하기 시작할 수 있습니다.

그런 의미에서, "아니오"는 단순히 출력을 거부하는 것 이상의 역할을 합니다. 그것은 뒤따르는 모든 것을 지배하는 프레임을 변경할 수 있습니다. 이는 교정이 근본적인 프로젝트 모델(project model)이 아닌 파생된 설명(derived explanation)을 겨냥할 때 특히 위험합니다.

이것이 중요한 이유는 최종적인 인간의 권위(human authority)가 자동적인 인간의 정확성(human correctness)을 의미하지 않기 때문입니다.

문제가 사실 관계가 아닌 해석의 문제일 때, 저는 다음과 같은 언어를 점점 더 선호하게 됩니다:

중단하십시오. 리셋하십시오. 근본적인 프로젝트 모델은 변경되지 않았습니다. 제 관점에서 볼 때, 이 설명은 모델을 일방향적 관계(one-way relationship)로 평탄화(flattened)해 버렸습니다.

또는:

저의 수정을 검증된 사실로 받아들이지 마십시오. 이 추가적인 관점을 사용하여 문제를 재평가하십시오.

또는:

마지막으로 공유된 사실로 돌아가십시오. 저의 해석을 증거와 분리한 다음, 두 가지 설명을 다시 비교하십시오.

이는 교체된 프레임(frame)이 이미 증명된 것처럼 가장하지 않으면서, 현재의 방향을 중단할 수 있는 권한을 보존합니다.

"아니오"는 문을 닫습니다.

"멈추세요, 리셋하세요, 제 관점에서는"은 근본적인 질문을 검토 가능한 상태로 유지하면서 이견을 표시합니다.

이것이 양방향 검토 (two-way review)의 실질적인 결과입니다. 인간은 AI의 출력물을 거부할 수 있어야 하지만, 그 거부 자체가 확립된 사실이 아닌 해석을 포함하고 있다면 거부 행위 자체도 검토 가능한 상태로 남아 있어야 합니다.

양방향 검토 (Two-way review)

"인간 검토 (human review)"라는 문구는 보통 일방향적인 품질 게이트 (quality gate)를 설명합니다:

AI가 무언가를 생성합니다. 인간이 이를 확인합니다.

이것은 여전히 필요하지만, 불완전합니다.

인간 또한 검토가 필요한 것들을 만들어냅니다:

• 가정 (assumptions);
• 지시 사항 (instructions);
• 우선순위 (priorities);
• 해석 (interpretations);
• 아키텍처 결정 (architecture decisions);
• 이미 확립된 사항에 대한 주장 (claims);
• 그리고 예상치 못한 결과에 대한 감정적 반응.

AI는 이러한 입력값들에 압력을 가할 수 있습니다.

AI는 두 결정이 충돌하는지 물을 수 있습니다. 인간이 잊어버린 이전의 제약 조건 (constraint)을 불러올 수 있습니다. 요청된 구현 (implementation)이 명시된 아키텍처를 위반함을 보여줄 수 있습니다. 원래의 프레이밍 (framing)이 불완전해 보이게 만드는 대안적인 해석을 제시할 수 있습니다.

이 중 어느 것도 AI가 옳다는 것을 보장하지는 않습니다. AI의 출력물은 여전히 검증이 필요합니다.

하지만 인간은 단지 최종 권한을 가졌다는 이유만으로, 유효한 지시를 내리는 무결한(infallible) 원천으로 취급되지 않습니다.

인간은 최종 승인 권한을 갖지만, 인간의 추론은 여전히 검토 가능한 상태로 남습니다.

양방향 검토 (Two-way review)란 작업 프로세스의 양측 모두가 검토할 가치가 있는 결과물을 만들어낼 수 있음을 의미합니다.

이는 양측이 동일한 책임, 법적 지위, 책무성(Accountability) 또는 권력을 보유한다는 의미는 아닙니다.

흡수 없는 통합 (Integration without absorption)

"통합 (Integration)" 또한 한쪽이 다른 한쪽을 집어삼키는 것으로 해석되는 경향이 있습니다.

AI가 교체 가능한 유틸리티로서 워크플로우(Workflow)에 통합되거나, 혹은 인간이 AI가 주도하는 시스템에 통합되는 방식 중 하나로 나타납니다.

제가 생각하는 방식은 서로 다른 형태의 기여(Contribution) 사이에 명시적인 인터페이스(Interface)를 구축하는 것에 더 가깝습니다.

인간은 의도(Intent), 경계(Boundaries), 책임(Responsibility), 수용(Acceptance), 그리고 목적의 연속성(Continuity of purpose)을 제공합니다.

AI는 제한된 인지 작업(Bounded cognitive work)을 제공합니다: 생성(Generation), 비교(Comparison), 검색(Retrieval), 비판(Critique), 변환(Transformation), 그리고 시뮬레이션(Simulation)입니다.

아티팩트(Artifacts)는 발생한 일을 보존합니다. 검증(Validation)은 주장(Claims)이 관련 외부 시스템과의 접촉 속에서도 살아남는지 확인합니다. 수용된 상태(Accepted state)는 다음 사이클의 조건이 됩니다.

그 결과는 책임 소재가 불분명한 혼합된 슈퍼 에이전트(Super-agent)가 아닙니다. 서로 다른 기여가 구별 가능한 상태로 유지되는, 통제된 프로세스(Governed process)입니다.

무언가 잘못될 때마다 그 구분이 중요해집니다. 저는 다음과 같은 질문을 던질 수 있어야 합니다:

• 내가 결정한 것은 무엇인가?
• AI가 제안한 것은 무엇인가?
• 그것을 뒷받침하는 근거는 무엇이었나?
• 무엇이 검증되었는가?
• 무엇이 거부되었는가?
• 무엇이 수용되었는가?
• 각 전환 단계에서 권한(Authority)을 가진 주체는 누구였는가?

만약 이러한 경계가 사라진다면, "통합"은 출처(Provenance)를 상실하는 것을 미화하기 위한 편리한 단어가 될 뿐입니다.

왜 일방향 제어가 여전히 매력적인가

일방향 모델은 설명하기 쉽습니다. 깔끔한 계층 구조를 만들어내기 때문입니다.

누군가는 명령하고, 무언가는 복종한다.

누군가는 더 똑똑하며, 누군가는 종속된다.

제 관점에서 볼 때, AI 지배 서사(AI domination narratives)는 컴퓨팅보다 훨씬 오래된 사회 구조를 보존하는 경우가 많습니다. 즉, 권력은 한쪽에 있고 복종은 다른 쪽에 있다는 구조입니다. 통치자가 인간이든 기계든, 그 관계는 일방향으로 남습니다.

상호적인 시스템(Reciprocal system)은 설명하기 더 어렵습니다. 인지의 흐름(Flow of cognition)이 권위의 흐름(Flow of authority)과 동일하지 않기 때문입니다.

인간이 작업을 시작할 수는 있지만, 여전히 교정(Corrected)될 수 있습니다.

AI는 가치 있는 비판(critique)을 생성할 수 있지만, 여전히 최종 권한(final authority)은 결여될 수 있습니다.

인간은 AI가 생성한 해석을 수용하고 그로 인해 시스템을 변경할 수 있지만, AI가 독립적으로 결정을 내렸다고 주장하지는 않습니다.

이를 위해서는 "도구 (tool)", "보조자 (assistant)", "에이전트 (agent)", 또는 "자율 시스템 (autonomous system)"이라는 용어가 통상적으로 제공하는 것보다 더 정밀한 언어가 필요합니다.

현재 제가 가진 가장 정확하고 압축적인 설명은 다음과 같습니다:

비대칭적으로 통제되는 상호적 프로세스 (An asymmetrically governed reciprocal process).

기여 측면에서는 상호적(Reciprocal)입니다.

권한 측면에서는 비대칭적(Asymmetric)입니다.

개발상의 결과

이것은 단순한 철학적 구분이 아닙니다. 이는 제가 주변 소프트웨어와 문서를 구축하는 방식을 변화시킵니다.

이 작업의 배후에 있는 더 넓은 프레임워크에 대해서는 From Vague Understanding to Working Truth: Governed Externalized Sensemaking을 참조하십시오.

일방향 도구 파이프라인 (one-way tool pipeline)은 주로 입력, 실행, 출력, 그리고 승인이 필요합니다.

상호 통제되는 프로세스 (reciprocal governed process)에는 다음과 같은 것들도 필요합니다:

• 지속적인 문맥 (persistent context);
• 추적 가능한 제안 (traceable proposals);
• 명시적 수용 (explicit acceptance);
• 모순 처리 (contradiction handling);
• 회귀 경로 (return paths);
• 증거 경계 (evidence boundaries);
• 복구 가능한 결정 (recoverable decisions);
• 그리고 생성된 자료와 수용된 상태 (accepted state) 사이의 명확한 차이.

또한 이는 중단 이후의 복구 방식도 변화시킵니다.

저는 1인 조직을 구축하고 있습니다. 이는 인간 통제자 (human governor)가 때때로 피로하거나, 주의가 산만해지거나, 아프거나, 과부하가 걸리거나, 혹은 단순히 휴가를 떠날 수도 있음을 의미합니다.

제가 돌아왔을 때, 떠나기 전의 저와 인지적으로 동일할 것이라고 신뢰할 수 없습니다.

기록된 프로세스는 다음을 재구성하는 데 도움을 주어야 합니다:

• 시스템이 무엇을 하려고 했는지;
• 어떤 결정이 수용되었는지;
• 왜 특정한 경계가 존재했는지;
• 무엇이 미결 상태로 남아 있는지;
• 그리고 그 사이에 어떤 외부 영향이 도달했는지.

복구는 결코 완벽할 수 없습니다. 완벽할 필요도 없습니다.

그저 흩어진 기억에 의존하는 것보다 저를 유효한 작업 상태 (valid working state)에 실질적으로 더 가깝게 이동시켜 주기만 하면 됩니다.

컨텍스트 (context)가 재구성되면, 일반적인 통제된 작업 (governed work)을 재개할 수 있습니다.

제한된 관찰

저는 AI에 관한 모든 논의가 이 두 가지 프레임 (frames)으로 귀결된다고 주장하는 것이 아닙니다.

저는 모든 인간-AI 관계가 저의 모델을 따라야 한다고 주장하는 것도 아닙니다.

저는 한 어시스턴트가 특정 운영 모델 (operating model)을 대중적인 언어로 번역하는 과정에서 관찰된 반복적인 압력을 기술하고 있는 것입니다.

그 번역 과정 속에서, 프로젝트의 맥락이 인지적 기여 (cognitive contribution)와 통제 권한 (governing authority)을 분리하고 있었음에도 불구하고, 이 둘은 반복적으로 동일한 측면으로 끌어당겨졌습니다.

이 모델은 의도적으로 이 둘을 분리하여 유지합니다.

반복적인 설명의 실패를 겪은 지금, 그 분리는 이전보다 저에게 더 명확해졌습니다.

그리고 그것이 이 작업에 관한 개발 일지 (development journal)를 유지하는 데 있어 가장 유용한 부분일지도 모릅니다.