🧠 서론

AI 에이전트는 흔히 지능적인 시스템으로 묘사됩니다.

하지만 여러 에이전트 시스템을 구축하고 반복하며 다음과 같은 다른 패턴이 명확해집니다:

에이전트는 지능이 아닙니다.
그것은 **부분적인 정보 위에서 작동하는 제한된 최적화 과정 (bounded optimization process)**입니다.

1. 에이전트에 대한 형식적 관점

우리는 에이전트 정책 (policy)을 다음과 같이 정의할 수 있습니다:

π∗=argπmax​E[R(τ)]

여기서:

• ( \pi ): 정책 (policy, 결정 함수)
• ( \tau ): 궤적 (trajectory, 행동 + 관찰의 시퀀스)
• ( R ): 보상 함수 (reward function)

각 단계에서 에이전트는 다음을 선택합니다:

at​=argamax​E[Q(st​,a)]

2. 현실 세계의 제약 조건

실제 시스템에서는 위의 가정들이 깨집니다:

• 상태 ( s_t )는 부분적으로 관찰 가능함 (partially observable)
• 보상 (Rewards)은 희소하고 지연됨 (sparse and delayed)
• 도구 (Tool)의 출력은 확률적이고 노이즈가 있음 (stochastic and noisy)
• 환경은 비정상적임 (non-stationary)

따라서 에이전트는 전역 최적화 (global optimization)를 수행하는 것이 아닙니다.

대신, 에이전트는 다음과 같은 작업을 수행합니다:

불완전한 상태에 대한 국소적 탐욕 최적화 (local greedy optimization over incomplete state)

3. 에이전트가 실패하는 이유: 루핑 동작 (Looping Behavior)

실무에서는 핵심적인 실패 패턴이 나타납니다:

• 반복적인 파일 읽기
• 중복된 도구 호출 (tool calls)
• 동일한 컨텍스트의 과도한 탐색
• 종료되지 않는 추론 루프 (non-terminating reasoning loops)

왜 이런 일이 발생할까요?

국소적으로 보면:

모든 행동은 여전히 양(+)의 기대 효용 (expected utility)을 가집니다.

따라서 에이전트의 관점에서는:

탐색을 계속하는 것이 항상 "합리적"입니다.

이것이 최적화 루프 (optimization loops)로 이어집니다.

4. 누락된 차원: 종료 (Termination)

대부분의 에이전트 설계는 다음 사항에 집중합니다:

• 추론 능력 (reasoning capability)
• 도구 사용 (tool usage)
• 계획 품질 (planning quality)

하지만 결정적인 축 하나를 무시합니다:

에이전트는 언제 멈춰야 하는가?

종료 제어 (termination control)가 없으면 시스템은 다음과 같이 퇴보합니다:

• 무한 탐색
• 도구 루프
• 불안정한 실행 궤적 (execution trajectories)

5. 에이전트 설계 공간

에이전트의 행동은 근본적으로 다음 사이의 트레이드오프 (trade-off)입니다:

• 탐색 (Exploration) (정보 수집)
• 활용 (Exploitation) (행동 실행)
• 종료 (Termination) (출력 수렴)

우리는 이를 순수한 추론 (reasoning)이라기보다 제한된 최적화 (constrained optimization) 시스템으로 생각할 수 있습니다.

6. 제한된 최적화 관점 (Bounded Optimization Perspective)

더 정확한 공식화는 다음과 같습니다:

지능 (Intelligence) = 최적화 (optimization)
에이전트 (Agent) = 제한된 최적화 (bounded optimization)
엔지니어링 (Engineering) = 최적화의 경계 (bounds)를 정의하는 것

이러한 경계에는 다음이 포함됩니다:

• 모듈당 탐색 예산 (exploration budgets)
• 루프 탐지 메커니즘 (loop detection mechanisms)
• 단계 분리 (phase separation) (분석 (analysis) → 계획 (planning) → 실행 (execution))
• 조기 종료 휴리스틱 (early stopping heuristics)

7. 핵심 통찰 (Key Insight)

실무에서의 중요한 관찰 결과는 다음과 같습니다:

추론 (reasoning) 능력만을 개선하는 것은 종종 불안정성을 증가시킨다.

왜냐하면 더 강력한 추론은 다음과 같은 경향이 있기 때문입니다:

• 탐색 깊이 (exploration depth) 증가
• 도구 호출 (tool invocation) 빈도 증가
• 수렴 (convergence) 지연

적절한 제약 조건 (constraints)이 없다면, 이는 더 나쁜 시스템 동작으로 이어집니다.

🧩 결론 (Conclusion)

에이전트는 "더 잘 생각하는" 시스템이 아닙니다.

에이전트는 다음과 같은 시스템입니다:

제약 조건 하에서 최적화하며, 언제 최적화를 멈춰야 할지를 아는 시스템