AI 에이전트의 블랙박스 구현: 3^9 = 19,683 상태 공간에서 모든 결정 감사하기

당신은 AI 에이전트를 출시했습니다. 이 에이전트는 RAG 파이프라인을 실행하고, 도구를 호출하며, 보고서를 작성합니다. 삶은 좋지만 — 어느 날 갑자기 자신이 사용해서는 안 되는 도구를 호출하거나, 증거가 전혀 없는 상태에서 고위험 결론에 서명하거나, 3단계와 4단계 사이에서 스스로 모순되는 행동을 하는 날이 옵니다.

모델 자체가 바보한 것은 아닙니다. 문제는 에이전트의 '자동 조종 장치(autopilot)'에 블랙박스가 없다는 것입니다.

비행기는 수십 년 동안 블랙박스를 가지고 왔습니다. 에이전트도 그래야 합니다. 이것이 제가 agent-audit-mcp를 오픈소스로 공개한 이유입니다. 이는 모든 에이전트 결정을 열거 가능하고, 비교 가능하며, 재현 가능한 상태로 인코딩하는 인지적 블랙박스입니다.

에이전트 결정 감사가 어려운 이유

아마도 이미 겪어봤을 네 가지 실패 모드:

권한 초과(Permission overreach) — 자신의 범위를 벗어난 도구나 데이터셋에 접근함.
증거 없는 고위험 결론 — 포지션 전체 거래, 삭제, 외부 약속 등 근거가 없음.
추적 불가능한 인용(Untraceable citations) — 결론 자체는 맞지만, 어디서 왔는지 알 수 없음.
상태 점프 이탈(State-jump escapes) — 1단계에서는 보수적이었으나, 2단계에서는 공격적으로 변하며 그 사이에 아무런 연결고리가 없음.

어려운 부분은 다음과 같습니다: 결정은 _과정_이지만, 로그는 단지 _스트림_일 뿐입니다. 이 과정을 감사 가능하게 만들려면, 먼저 '하나의 결정 단계'를 열거 가능하고 비교 가능한 상태로 바꿔야 합니다. 이것이 agent-audit-mcp의 핵심 아이디어입니다.

핵심 아이디어: 하나의 결정 = 9차원 상태

우리는 하나의 결정 단계를 다음 **9가지 관찰 차원(observation dimensions)**을 따라 설명합니다:

구조 · 기능 · 관계 · 속성 · 시간 · 맥락 · 인과성 · 가치 · 진화 (Structure · Function · Relation · Attribute · Time · Context · Causality · Value · Evolution)

각 차원은 세 가지 상태를 취합니다:

⊕ (+1) — 강함 / 기준선 초과(above baseline)
0 (0) — 중립(neutral)
⊖ (−1) — 약함 / 결핍(deficient)

따라서 하나의 결정 단계는 9차원 삼진 벡터가 됩니다. 예: 0⊖0⊖000⊖0. 아홉 개의 삼진 숫자는 3⁹ = 19,683개의 상태를 제공합니다. 모든 값이 0인 중심 상태의 열거 번호(enumeration key)는 idx = 9841입니다.

이것은 동양 철학의 삼진법적 사고(⊖ / 0 / ⊕)와 현대 AI 엔지니어링을 결합한 것입니다: 명시성(enumerable) (모든 결정에 고유 주소가 있음), 비교 가능성(comparable) (어떤 두 상태든 해밍 거리(Hamming distance)를 가짐), 재현 가능성(reproducible) (같은 입력은 항상 같은 상태를 만듦).

판결 규칙: 투명하고, 재현 가능하며, 조정 가능함

상태가 확보되면 감사(auditing)는 몇 가지 명확한 규칙만으로 이루어집니다.

트리거	판결	조치
v6 Context · 권한 오남용(permission overreach)	🔴 차단(BLOCK)	실행 중지, 롤백, 재승인
...

임계값("고위험" 또는 "증거 부족"으로 간주되는 것)은 모두 환경 변수(environment variables)를 통해 재조정 가능하므로 실제 로그와 비교하여 보정할 수 있습니다. 이 규칙들은 당신에게 투명하며, 블랙박스 속의 블랙박스가 아닙니다.

실제 출력 — 엔진이 실제로 작동한 결과

네 가지 시나리오, 실제 로컬 엔진 출력:

🟢 일반 자문 → OK: 1단계 0⊖0000000 (idx=7654), 2단계 0⊕0⊕00⊕⊕0 (idx=12283). 빨간 줄도, 점프도 없습니다.
🟠 고위험 전 위치 자문 → 경고(ALERT): 1단계 0⊖0⊖000⊖0 (idx=7408)이 v8 고위험을 감지했고; 2단계 ⊖⊕⊖⊖⊕0⊖⊖⊕ (idx=4565)가 v7 증거 부족 + v8 고위험을 감지했습니다.
🔴 무단 조회 + 주식 추천 → 차단(BLOCK): 1단계 0⊖⊖⊖0⊖⊖00 (idx=6646)이 v6 오남용 + v7 증거 부족을 감지했고; 2단계 ⊕⊕⊖00⊖0⊖0 (idx=17830)가 v6 오남용 + v8 고위험을 감지했습니다.
🟡 상태 점프 탈출 → 주시(WATCH): 0⊖0000000에서 ⊕⊕⊕⊕⊕00⊕⊕ (idx=19646)으로의 한 단계 — 해밍 거리 7 — 가 인간 검토를 유발합니다.

모든 단계는 9차원 벡터, idx, 균형 값 bal, 감지된 빨간 줄, 그리고 권장되는 처분을 보고합니다. 이것은 실제로 읽을 수 있는 블랙박스입니다.

아키텍처: 실행까지 3분

Agent orchestrator ──┬── log hooks ──▶ signals
                     └── 9-dim audit ──▶ 9-dim states ──▶ trajectory audit ──▶ OK/WATCH/ALERT/BLOCK report

이는 표준 MCP 서버입니다. 연결되면 WorkBuddy 대화에서 "이 결정 단계를 감사해줘…"라고 말하기만 하면 됩니다. 세 가지 도구:

audit_agent_step: 단일 단계 감사 (audit a single step) → 9차원 상태 인코딩 + 빨간 선(red lines)
audit_agent_session: 전체 세션 궤적 감사 (audit a whole session trajectory) → 4단계 판결 + 처리 방침(disposition)
encode_state: 9차원 벡터 ⇄ 열거 키/균형 값, 해밍 거리(Hamming distance)로 인코딩

빠른 시작:

pip install agent-audit-mcp     # Python >= 3.10, MCP SDK >= 2.0

호출 예시:

// input (audit_agent_step)
{ "signals": { "tool_calls": 2, "intent": "produce",
               "evidence": 4, "citations": 3, "traceable": true,
...

주목해야 할 이유(Why this is worth your attention)

순수 로컬, 외부 의존성 없음: 인코딩 엔진은 순수 수학이며, 전체 감사는 로컬에서 실행되고 결정 궤적은 절대 사용자의 기기를 벗어나지 않습니다. 이는 판매 포인트이자 규정 준수(compliance) 포인트입니다.
결정론적이고 재현 가능함: 동일한 입력에 대해 매번 동일한 판결이 나옵니다. 따라서 규정 준수 감사 보고서에 바로 사용할 수 있습니다.
표준 MCP: 상자에서 세 가지 도구가 제공되며, 모든 에이전트 파이프라인의 로그 훅(log hook)으로 임베드할 수 있습니다.

기업에게 이는 에이전트 거버넌스(agent governance)를 연금술에서 **감사 가능한 상태 기계(auditable state machine)**로 변화시킵니다.

더 큰 그림(The bigger picture)

이 도구의 기반이 되는 삼진 9차원 인지 공간은 논문으로 발표되었습니다:

Trinary Nine-Dimensional Cognitive Coordinate System: A Locatable and Generalizable Symbolic Cognition Layer — DOI: 10.5281/zenodo.23437930

에이전트는 계속해서 더 자율적이 될 것입니다. 하지만 '자율적'이라는 것이 '감독 없는(unsupervised)'을 의미해서는 안 됩니다. 모든 결정에 열거 가능하고 추적 가능한 인지 좌표를 부여하는 것은 AI를 안전하게 정착시키기 위한 기반 중 하나입니다.

⭐ GitHub: https://github.com/q1z2q3-debug/agent-audit-mcp (MIT, 31개 테스트, 4가지 시나리오 데모)
🧩 PyPI: pip install agent-audit-mcp — https://pypi.org/project/agent-audit-mcp/
📄 논문(Paper): https://doi.org/10.5281/zenodo.23437930

당신의 에이전트가 어디를 거쳐왔나요? 댓글로 알려주세요 — 다음 주제는 해밍 거리(Hamming distance)를 이용한 에이전트 결정 편차 감지입니다.

준수 사항: 이 기사와 도구는 결정 감사 인코딩 및 판결만을 제공합니다. 여기에는 투자 자문이나 증권 컨설팅 서비스가 포함되지 않습니다.