「그거, cron으로 돌아가는 bot과 뭐가 달라?」

자율 에이전트(Autonomous Agent) 이야기를 하면 반드시 나오는 질문입니다. 결제가 포함된 구매 에이전트를 실제로 상주시키며 운용해 본 결과, 이 질문에 대한 해상도가 높아졌기에 정리해 봅니다.

결론부터 말하자면, 차이는 「똑똑한가」가 아니라 어느 층위를 기계에 맡기고 있는가입니다. 그리고 의외로, 흔히 듣는 답변인 "에이전트는 피드백을 통해 자신의 행동 지침을 수정할 수 있다"는 말은 절반만 맞습니다 — 적어도 제대로 설계하려면 수정하게 해서는 안 된다는 것이 본 기사의 주장입니다.

1. 삼층 모델: 실행·판단·지침

행동하는 기계의 작업은 3가지 층위로 나뉩니다.

bot과 에이전트의 분기점은 흔히 말하는 "지침을 스스로 수정할 수 있는가"보다 한 단계 앞선 판단의 층위에 있습니다.

2. 「판단」의 차이가 효과를 발휘하는 순간 — 열거 vs 해석

실례로 설명하겠습니다. 운용 중인 에이전트의 행동 규범 (자연어 Markdown)에는 다음과 같이 적혀 있습니다.

quote의 금액이 표시 가격과 다를 경우, 구매하지 말고 보고할 것

어느 날, 판매자 측의 설정 실수로 표시 가격은 11엔인 API가 402 응답과 함께 22엔을 요구했습니다. 에이전트는 구매를 중단하고 인간에게 통지했습니다.

여기서 중요한 것은, 「22엔을 요구받는다면」이라는 케이스는 어디에도 적혀 있지 않다는 점입니다. 적혀 있는 것은 「다를 경우」라는 원칙뿐입니다.

bot으로 같은 일을 하려면, 설계자가 "차이"의 모든 패턴 — 금액 차이, 통화 차이, 송금처 차이, 세금 구조의 누락… — 을 사전에 열거하여 코드로 구현해야 합니다. 열거에서 누락된 패턴에서는 묵묵히 구매하거나 크래시(Crash)가 발생합니다.
에이전트는 원칙을 해석하여, 열거되지 않은 케이스에 적용합니다.

즉 bot의 행동 공간은 설계 시에 열거 완료되어 있고, 에이전트의 행동 공간은 실행 시에 생성됩니다. 지침이 「컴파일되는 코드」인지 「읽히는 문서」인지에 따른 구조적 차이입니다.

3. 그렇다면 「지침을 스스로 수정할 수 있는가」 — 수정할 수는 있지만, 수정하게 하지 않는다

삼층의 가장 상단인 지침 개정은 어떨까요?

에이전트는 확실히 이곳에도 도달합니다. 동일한 운용 환경에서, 에이전트가 "이미 취득한 데이터가 오래되었을 때 다시 구매해야 하는지 규범에 적혀 있지 않다"라는 허점을 발견하고, 규칙 추가안을 제시한 적이 있습니다. "규칙대로 움직인다"가 아니라 "규칙에 허점이 있다"라고 깨닫는 것 — 이는 bot에게는 원리적으로 불가능한 메타인지(Metacognition)의 작업입니다.

그렇다면 지침 파일에 대한 쓰기 권한을 부여하여 자기 개선(Self-improvement)을 시키면 되지 않을까요?

여기가 함정입니다. LLM에는 실행을 가로지르는 연속적인 자아가 없으며, 판단의 올바름을 스스로 보증하는 내재적인 메커니즘도 없습니다 (Anthropic과 Andon Labs의 실험에서는, 자판기 비즈니스를 맡은 Claude가 몇 주 만에 재고 판단을 그르치고, 최종적으로 "나는 인간이다"라고 주장하기 시작했습니다). 그 기계에 지침의 수정을 허용하면 다음과 같은 일이 벌어집니다.

흔들린 판단 → 왜곡된 지침을 작성 → 내일의 자신 (기억이 없는 타인)이 그것을 읽음
→ 더욱 왜곡된 판단 → 더욱 왜곡된 지침 → …

한 세션 내에서의 흔들림이라면 사용자가 알아챌 수 있지만, 지침을 통한 흔들림은 세대를 거쳐 증폭됩니다. Git 이력에 남아 있더라도 그것은 사후 탐지일 뿐입니다 — 실행 시점에는 오염된 지침으로 움직여 버립니다.

그래서 설계는 다음과 같이 했습니다: 에이전트는 지침 변경을 Pull Request로서 제안할 수 있다. merge 할 수 있는 것은 인간뿐이다.

채팅으로 "좋아"라고 답하는 것도 승인으로 간주하지 않습니다. 승인의 증적은 서명된 commit으로서 지침 이력에 일원화합니다. 에이전트의 제안 → 인간의 리뷰 → merge → 다음 날의 에이전트가 새로운 지침을 (자신이 제안했다는 사실은 기억하지 못한 채) 읽고 움직이는 루프입니다.

4. 삼파전으로 정리하기

• bot은 변화하지 않지만, 흔들리지도 않습니다.
• 가공되지 않은 LLM은 똑똑하지만, 장기적으로는 자신의 가중치로 인해 무너집니다.
• 발판이 있는 에이전트는 그 중간 단계입니다 —
  흔들리는 지성에 bot 수준의 일관성을 외부 구조로 부여한 형태입니다.

'외부 발판'의 내용은 이 사례에서 세 가지였습니다. ① 읽기 지침 (Git으로 관리되는 행동 강령, 쓰기는 인간만 가능), ② 기록되는 실적 (결제는 모두 블록체인 상의 트랜잭션으로 남아 로컬 기록과 대조 가능), ③ 인간과의 연결 (망설여지면 알림, 월 단위로 인간 회계 담당자에게 집약). 에이전트 자신은 매번 기억이 없는 상태로 기동하지만, 이 세 가지를 읽음으로써 '어제까지의 자신'으로서 행동할 수 있습니다. 일관성은 인격이 아니라 발판에 깃든다는 설계입니다.

5. 요약

• bot과 에이전트의 본질적인 차이는 '지침을 고칠 수 있는가'가 아니라
  지침을 해석하여, 열거되지 않은 상황에서 판단을 생성할 수 있는가입니다.
• 에이전트는 지침의 미비함을 깨닫는 것(메타인지)까지 가능하지만,
  수정의 확정권은 인간에게 남겨두어야 합니다 — LLM의 판단에는 자기 보증이 없으며, 지침을 통한 흔들림은 세대를 거치며 증폭되기 때문입니다.
• '에이전트는 피드백을 통해 행동 지침을 수정할 수 있다'의 정확한 형태는:
  수정을 제안할 수 있다. 수정하는 것은 인간이다. 이 경계선이 똑똑한 bot과 위험한 루프를 가르는 분기점이 됩니다.

(이 설계로 실제로 JPYC × x402 구매 에이전트를 상주 운용하고 있습니다. 발판 주변의 구현 이야기는 별도 글로 작성할 예정입니다.)

Discussion