자율 코딩 에이전트를 구축하거나 배포해 본 사람이라면 누구나 똑같은 실패 순서가 전개되는 것을 목격했을 것입니다.
에이전트는 처음에는 매우 날카롭게 작동합니다. 1턴부터 4턴까지 프롬프트를 구문 분석하고, 관련 소스 파일을 찾으며, 깔끔한 접근 방식을 개괄합니다. 그러다가 6턴 무렵, 셸(shell) 명령어가 예상치 못한 오류를 발생시킵니다. 컴파일러가 누락된 타입 정의로 실패하거나, 목업 데이터베이스 포트가 노출되지 않아 통합 테스트(integration test)가 실패할 수 있습니다.
에이전트는 한발 물러서 환경을 검사하는 대신, 죽음의 나선형(death spiral)에 빠집니다. 사소한 플래그 변형만 주어 동일한 테스트 명령어를 반복 실행합니다. 그것은 실패합니다. 불필요한 주석을 추가하거나 관련 없는 파일의 변수 이름을 변경하고, 다시 명령어를 실행하며 또다시 실패합니다. 18턴이 되자, 에이전트는 90,000 토큰을 소모했고, 원래 버그와는 아무 상관없는 세 개의 파일을 오염시켰으며, 이제는 자신의 이전 추론 과정(reasoning traces)과 논쟁하고 있습니다.
수십억 개의 파라미터를 가지고 있으며 처음부터 복잡한 알고리즘을 작성할 수 있는 LLM이 루프에 갇혔을 때 왜 놀랍도록 고집스러워지는 것일까요?
간단히 말해, 에이전트의 루프는 무작위적인 환각(hallucination)이 아닙니다. 그것은 ReAct 실행 패턴, 자기회귀 토큰 샘플링(autoregressive token sampling), 그리고 컨텍스트 윈도우 오염(context window pollution)의 예측 가능한 수학적 결과물입니다.
에이전트가 막혔을 때 실제로 내부적으로 무슨 일이 일어나고 있는지, 그리고 이 사이클을 끊기 위해 필요한 결정론적 메커니즘은 다음과 같습니다.
ReAct 루프의 해부학(The Anatomy of the ReAct Loop)
대부분의 최신 에이전트 프레임워크는 2022년 Shunyu Yao 등이 공식화한 ReAct 프레임워크를 기반으로 구축됩니다.
ReAct의 핵심 아이디어는 추론 과정(Thought)과 도메인별 행동(Action)을 번갈아 사용하는 것입니다:
+-------------------------------------------------------------+
| 사용자 작업 / 프롬프트 |
+-------------------------------------------------------------+
...
여기서 간과되는 중요한 아키텍처적 세부 사항이 있습니다: LLM은 완전히 무상태(stateless)입니다.
모델은 턴(turn) 간에 지속적인 작업 메모리(persistent working memory)를 가지고 있지 않습니다. 턴 N에서의 에이전트 전체 상태는 문자 그대로 턴 1부터 N-1까지 누적된 원시 텍스트 토큰 배열입니다.
8번째 턴이 실행될 때, 전송되는 프롬프트는 다음과 같습니다:
[System Prompt]
[User Instruction]
[Turn 1: Thought -> Action -> Observation]
...
과거 출력의 모든 문자, 모든 bash 트레이스백(traceback), 그리고 모든 실패한 매개변수 편집 기록이 후속 단계마다 모델의 어텐션 헤드(attention heads)에 직접 공급됩니다.
루프를 유발하는 세 가지 메커니즘 (The Three Mechanics That Cause the Loop)
컨텍스트 윈도우(context window)가 에이전트 메모리의 유일한 매체라는 것을 이해하면, 장기 지평 추론(long-horizon reasoning)의 붕괴를 쉽게 추적할 수 있습니다. 세 가지 구별되는 메커니즘이 실패 나선형을 이끌어갑니다.
1. 인컨텍스트 강화(In-Context Reinforcement) 및 자기회귀 사전 확률 (Autoregressive Priors)
자기회귀 모델(Autoregressive models)은 조건부 확률 분포(conditional probability distribution)로부터 샘플링하여 토큰을 순차적으로 예측합니다:
P(w_t | w_1, w_2, ..., w_{t-1})
트랜스포머(Transformers)는 어텐션 메커니즘을 사용하여 이전 시퀀스의 어떤 부분이 다음 토큰에 정보를 제공할지 결정합니다. 최신 모델들은 컨텍스트 내에서 발견된 패턴을 인식하고 반복하도록 몇 가지 예시(few-shot demonstrations)를 통해 명시적으로 파인튜닝되었습니다.
에이전트가 실패하는 액션(action)을 실행하면, 그 실패 기록이 프롬프트 히스토리(prompt history)에 남게 됩니다. 만약 에이전트가 유사한 두 번째 시도를 하고 그것마저 실패한다면, 컨텍스트 윈도우에는 오류에 대한 응답으로 거의 동일한 도구 호출(tool call)을 실행하는 에이전트의 연속된 두 가지 시연 기록이 포함됩니다.
Turn 4: Action: run_command("pytest tests/test_auth.py")
Observation: FAIL (AssertionError: expected 200, got 401)
Turn 5: Thought: Let me retry with verbose mode.
...
6번째 턴(Turn 6)에서 모델의 어텐션 헤드(attention heads)는 최근 기록된 n-그램(n-grams)에 주목합니다. 모델은 직교적인 접근 방식(orthogonal approach)(예: 모의 인증 피처인 mock authentication fixture 검사)을 고려하기보다는, pytest 명령어의 또 다른 변형에 가장 높은 확률을 할당합니다. 컨텍스트 내에서 반복되는 행동이 존재한다는 것은 자기회귀적 사전 확률(autoregressive prior)처럼 작용하여 모델이 계속해서 해당 행동을 반복하도록 강제합니다.
모델은 고집을 부리려는 것이 아닙니다. 단지 훈련받은 대로, 즉 인컨텍스트 패턴(in-context pattern)을 완성하는 작업을 수행하고 있을 뿐입니다.
2. 컨텍스트 윈도우 오염 (Context Window Poisoning)
단순한 도구 오류는 관리할 수 있습니다. 하지만 컨텍스트 오염은 훨씬 더 위험합니다.
컨텍스트 오염(Context poisoning)은 잘못된 전제나 환각으로 생성된 가정(hallucinated assumption)이 추론 과정에 진입하여, 이후 턴에서 이를 실제 사실(ground truth)로 취급하게 될 때 발생합니다.
다음 시퀀스를 고려해 보세요:
- 5번째 턴(Turn 5)에서 에이전트는 데이터베이스 스키마 파일을 찾기 위해 정규식 검색을 실행하지만, 정규식이 약간 잘못되어 빈 결과를 받습니다.
- 에이전트가 출력합니다:
Thought: users 테이블에는 아직 이메일 컬럼이 없습니다. 마이그레이션(migration)을 생성해야 합니다.
- 실제로는 해당 컬럼이 이미
migrations/0012_add_users.sql 파일에 존재합니다.
- 6번째 턴(Turn 6)에서 에이전트는 해당 컬럼을 추가하는 새로운 마이그레이션을 작성합니다.
- 7번째 턴(Turn 7)에서,
duplicate column name: email 오류와 함께 마이그레이션이 실패합니다.
- 에이전트는 5번째 턴의 추론에 의문을 제기하는 대신, 데이터베이스 실행기가 손상되었다고 가정합니다. 이에 따라 데이터베이스 초기화 스크립트를 다시 작성하거나 사용자 정의 SQL 해결책을 작성하려고 시도합니다.
모델은 모든 이전 토큰을 사실적인 컨텍스트로 취급하기 때문에, 3턴 전에 확립한 전제를 쉽게 무효화할 수 없습니다. 따라서 모델은 현실이 자신이 환각으로 생성한 전제와 일치하지 않는다는 점에 대해, 점점 더 복잡한 설명을 만들어내며 그 충돌을 합리화합니다.
3. 오실레이션 트랩 (The Oscillation Trap) (트래싱)
에이전트 루프의 또 다른 흔한 발현은 오실레이션(oscillation)입니다: 상태 A -> 상태 B -> 상태 A -> 상태 B.
이는 하나의 작업이 두 개의 상호 결합된 제약 조건(mutually coupled constraints)을 가질 때 발생합니다.
예를 들어, TypeScript 프로젝트는 엄격한 린터(linter)와 엄격한 타입 체커(type checker)를 가지고 있습니다.
- 에이전트는 린팅 오류(linting error)를 수정하기 위해 함수를 수정합니다 (예: 명시적인
any 제거).
- 이제
tsc를 실행하면 타입 불일치 오류가 발생합니다.
- 에이전트는 타입 불일치를 수정하기 위해 함수 시그니처를 업데이트하고, 이 과정에서 린터가 플래그를 지정했던 패턴을 재도입합니다.
- 린터를 실행하자 원래의 린팅 오류가 터집니다.
ReAct 루프는 오직 직전에 관찰된 결과(observation)만을 기준으로 진행 상황을 평가하기 때문에, 에이전트는 전역적인 진동(global oscillation)에 대한 기억이 없습니다. 각 국소적 단계는 마치 진전처럼 보입니다: "방금 나에게 보여진 오류를 수정하고 있어." 전역적인 diff 추적기(diff tracker)가 없으면, 에이전트는 토큰 할당량(token quota)이 고갈될 때까지 두 개의 상충되는 파일 사이를 순환할 수 있습니다.
오류 복구 역설 (The Error Recovery Paradox)
최근 자율 에이전트의 실패 모드에 대한 경험적 연구는 이 문제가 얼마나 광범위한지를 보여줍니다.
여러 산업 분야의 벤치마크 분석(예: Wink 연구 및 MAST 벤치마크 평가)에서 42,000개 이상의 프로덕션 에이전트 궤적을 분석한 결과, 연구원들은 다음을 발견했습니다:
- 반복적인 루프와 무제한 재시도(unbounded retries)가 모든 에이전트 실패의 약 15%에서 30%를 차지합니다.
- 제약 없는 오류 복구 로직이 통제 불능의 토큰 소비를 초래하는 주요 원인이었습니다.
이는 **오류 복구 역설(Error Recovery Paradox)**이라고 명명할 수 있는 것을 드러냅니다:
실패를 처리하기 위해 작성하는 코드가 종종 에이전트가 결코 멈추지 않게 만드는 원인이 됩니다.
엔지니어들이 에이전트 하네스(agent harness)를 구축할 때의 본능은 방어적인 재시도 루프(defensive retry loops)를 작성하는 것입니다:
# 루프를 유발하는 순진한 접근 방식
while not task_completed and turns < max_turns:
thought, action = agent.predict(history)
...
오류가 재시도 불가능할 경우(예: 누락된 시스템 라이브러리 또는 유효하지 않은 API 토큰), 해당 오류를 모델에 20번 공급하면 동일한 명령의 실패한 변형이 20개 생성됩니다. 하네스는 알고리즘이 벽에 머리를 부딪치는 것을 지켜보며 API 비용을 지불하고 있는 셈입니다.
아키텍처적 방어 기제: 실패의 나선형을 끊는 방법
에이전트 루프를 끊으려면 LLM 외부의 결정론적(deterministic) 소프트웨어 경계가 필요합니다. 컨텍스트 오염(context poisoning)은 프롬프트만으로 해결할 수 없습니다. 모델이 루프에 빠지는 순간에는, 이미 손상된 컨텍스트 때문에 멈추라는 프롬프트 지침을 따르는 것이 불가능해집니다.
견고한(robust) 에이전트 런타임에서 사용하는 네 가지 결정론적 방어 기법은 다음과 같습니다.
| 방어 레이어 | 메커니즘 | 트리거 발생 시 조치 |
|---|
| Tool Signature Hashing | 정규화된 (tool_name, args)의 SHA-256 해시값 | 동일한 반복 호출 거부; 대안 강제 |
| ... | | |
이러한 기법들이 실제 어떻게 작동하는지 살펴보겠습니다.
가장 간단하고 효과적인 안전 장치는 외부 도구 호출 원장(ledger)입니다. 어떤 도구를 호출하기 전에, 해당 동작 이름과 인자들의 정규화된 해시값을 계산합니다.
import hashlib
import json
...
만약 에이전트가 동일한 도구와 정확히 같은 인자로 두 번 연속 호출을 시도하면, 하네스(harness)는 실행 전에 해당 호출을 가로채야 합니다:
- 도구를 실행하지 않습니다.
- 명시적인 시스템 경고를 반환합니다: "Error: 이 정확한 명령은 이미 동일한 인자로 실행되었으며 결과 X를 받았습니다. 반복하는 것이 금지됩니다. 다른 접근 방식을 구상하십시오."
2. Detecting Multi-Step Cycles (다단계 사이클 감지)
단순한 동등성 검사(equality checks)는 즉각적인 연속 반복(A -> A)만 포착합니다. 하지만 진동 주기(oscillation cycles, 예: A -> B -> A -> B 또는 A -> B -> C -> A -> B -> C)는 놓칩니다.
이러한 사이클을 포착하려면, 동작 시그니처의 이동 기록(rolling history)을 유지하고 반복되는 부분 수열(repeating subsequences)을 확인해야 합니다:
def detect_action_cycle(history: list[str], max_cycle_len: int = 3) -> bool:
n = len(history)
for k in range(1, max_cycle_len + 1):
...
만약 history가 ["edit_file_a", "run_linter", "edit_file_a", "run_linter"]를 포함한다면, 감지기는 네 번째 턴에서 즉시 길이 2의 사이클을 플래그합니다.
3. Context Surgery over Naive Compaction (단순 압축보다 나은 컨텍스트 수술)
컨텍스트 윈도우(context window)가 가득 차면 많은 개발자들이 LLM 요약 단계를 트리거합니다. 하지만 이는 종종 상황을 악화시킵니다. 요약 모델은 높은 수준의 서사 문장은 보존하는 경향이 있지만, 'package.json 편집 금지' 또는 특정 컴파일러 버전 플래그와 같은 부정적 제약 조건(negative constraints)은 조용히 폐기합니다.
다른 LLM을 사용하여 전체 대화를 요약하기보다는, 결정론적인 **컨텍스트 수술(context surgery)**을 수행해야 합니다:
- stdout 격리: 터미널 명령이 4,000줄의 스택 트레이스(stack trace)를 반환하는 경우, 전체 4,000줄을 프롬프트에 절대 주입하지 마십시오. 전체 트레이스를 디스크 로그로 작성하고, 마지막 15줄과 주요 오류 이름만 추출하여 에이전트에게 해당 발췌본만을 전달합니다.
- 실패한 중간 분기 가지치기: 에이전트가 작동하는 구문을 찾기 전에 파일 편집을 시도했지만 문법 오류를 일으킨 적이 3번 있다면, 실패한 중간 시도는 히스토리에서 제거하십시오. 최종적으로 유효했던 수정본만 유지합니다. 이는 프롬프트에서 오염된 토큰(poisoned tokens)을 정화하는 역할을 합니다.
경량 컨텍스트 회로 차단기 구축하기 (Building a Lightweight Context Circuit Breaker)
다음은 사용자 지정 에이전트 실행 루프에 삽입할 수 있는, 컨텍스트 회로 차단기의 최소한의 독립형 Python 구현입니다:
import hashlib
import json
from collections import deque
...
record_and_evaluate가 False를 반환하면, 사용자의 하네스(harness)는 에이전트가 맹목적으로 실행을 계속하도록 두어서는 안 됩니다.
대신, **밴드 외 피벗(out-of-band pivot)**을 수행해야 합니다:
- 루프 시작 전 마지막으로 알려진 건강한 상태로 작업 공간을 되돌립니다 (예:
git checkout 또는 파일 스냅샷 사용).
- 메시지 히스토리에서 반복되는 사이클을 제거합니다.
- 밴드 외 감독자 프롬프트(out-of-band supervisor prompt)를 주입합니다: "시스템 개입: 액션 X를 시도하며 반복적인 루프에 빠졌습니다. 환경이 되돌려졌습니다. 액션 X는 이제 잠겼습니다. 완전히 다른 진단 경로를 식별하십시오."
에이전트 빌더를 위한 실질적인 시사점
- 컨텍스트 윈도우는 스크래치패드가 아니라 메모리입니다. 여기에 입력되는 모든 것이 모델의 자기회귀적 샘플링 분포(autoregressive sampling distribution)를 형성합니다. 데이터베이스 무결성만큼이나 컨텍스트 위생 관리(context hygiene)에 신중해야 합니다.
- 에이전트가 자신의 완료 내용을 평가하도록 절대 허용해서는 안 됩니다. 자율 에이전트(Autonomous agents)는 테스트가 실패해도(red) 자신이 잘못되었다고 설득하면 기꺼이 성공을 보고할 것입니다. 검증은 결정론적 외부 도구(deterministic external tools)(exit code 0, 모든 테스트 통과)에 의해 강제되어야 합니다.
- 모델에 도달하기 전에 장황함(verbosity)을 가지치기하세요. 원시 빌드 로그(Raw build logs)나 수 메가바이트 규모의 API 응답은 모델에 더 많은 지능을 주지 않습니다. 오히려 어텐션 헤드를 희석시키고 컨텍스트 오염(context poisoning)을 가속화할 뿐입니다.
- 하드 스톱(Hard Stop) 기준을 강제하세요. 최대 턴 제한(maximum turn limit)은 최후의 수단에 불과합니다. 무한히 돌아가는 에이전트를 30번 대신 3턴 내에 중지시키기 위해 도구 시그니처 해싱(tool signature hashing), 사이클 감지, 진행 상황 확인 등을 사용해야 합니다.