요약 버전: 자율 에이전트 (Autonomous agent)란 관찰한 내용으로부터 스스로 다음 단계를 결정하며 루프 내에서 도구 (Tools)를 사용하는 모델을 의미합니다. Anthropic은 이를 에이전트 (Agent)라고 부르며, Google은 핵심 루프를 ReAct: 사고 (Thought), 행동 (Action), 관찰 (Observation)이라고 부릅니다. 이는 가장 유연한 패턴이지만 가장 비용이 많이 들기 때문에, 경로를 하드코딩 (Hardcode)할 수 없는 경우에만 사용해야 합니다.

자율 에이전트란 무엇인가?

에이전트 (Agents)는 모델이 자신의 프로세스와 도구 사용을 동적으로 지시하며, 작업을 어떻게 완수할지에 대한 제어권을 유지하는 시스템입니다 (Anthropic). 이것이 에이전트와 워크플로 (Workflow)를 구분하는 경계입니다. 워크플로에서는 코드가 제어 흐름 (Control flow)을 소유하지만, 여기서는 모델이 이를 소유합니다.

Google은 이를 구동하는 루프를 2022년 연구 논문에 따라 ReAct 패턴이라고 명명했습니다. 에이전트는 종료 조건이 충족될 때까지 사고 (Thought), 행동 (Action), 관찰 (Observation)의 반복적인 루프를 실행합니다 (Google Cloud, ReAct paper).

Diagram: a cycle of thought, action, and observation around a central environment node, with a dashed exit to a final answer.

루프의 단계별 과정

Google은 ReAct를 세 가지 단계로 나눕니다 (Google Cloud):

• 사고 (Thought): 모델이 작업에 대해 추론하고 다음 할 일을 결정하며, 요청에 대해 충분한 답변이 이루어졌는지 판단합니다.
• 행동 (Action): 도구를 선택하여 더 많은 정보를 수집하기 위한 쿼리 (Query)를 생성하거나, 작업이 완료된 경우 최종 답변을 작성하고 루프를 종료합니다.
• 관찰 (Observation): 도구의 출력값을 읽고 중요한 내용을 메모리 (Memory)에 저장하여, 같은 내용을 반복하는 대신 과거의 관찰 내용을 바탕으로 작업을 이어갈 수 있도록 합니다.

Anthropic은 동일한 개념을 설명하며 한 가지 사항을 강조합니다. 즉, 에이전트는 매 단계마다 도구 결과(tool results)나 코드 실행(code execution)과 같이 환경으로부터 얻은 실제 정보(ground truth)를 획득하여 자신의 진행 상황을 평가해야 한다는 것입니다 (Anthropic). 이 루프(loop)는 작업이 완료되거나, 최대 반복 횟수와 같은 중단 조건(stopping condition)에 도달하면 종료됩니다.

실제 작동 방식

Anthropic의 표현을 빌리자면, 에이전트는 일반적으로 루프 내에서 환경 피드백을 기반으로 도구를 사용하는 LLM(Large Language Model)에 불과합니다. 이러한 도구에 대한 의존도가 매우 높기 때문에, Anthropic은 코딩 에이전트를 구축할 때 프롬프트(prompt)보다 도구를 최적화하는 데 더 많은 시간을 할애했으며, 작은 변화도 큰 차이를 만들었습니다. 예를 들어, 절대 경로(absolute file paths)로 전환하는 것만으로도 특정 유형의 오류를 완전히 제거할 수 있었습니다 (Anthropic). Google은 디버깅 측면의 이점을 추가합니다. 모델의 사고 과정은 추론 과정에 대한 기록(transcript)을 제공하므로, 모델이 어디에서 잘못되었는지 파악하는 데 도움이 됩니다 (Google Cloud).

언제 사용해야 하는가

단계의 수를 예측할 수 없고 고정된 경로를 하드코딩(hardcode)할 수 없는 개방형 문제(open-ended problems)에 자율 에이전트(autonomous agent)를 사용하십시오 (Anthropic). 에이전트는 여러 턴(turn) 동안 실행될 수 있으므로, 에이전트의 결정에 어느 정도의 신뢰가 필요합니다. Anthropic의 자체 사례로는 여러 파일에 걸쳐 실제 GitHub 이슈를 해결하는 코딩 에이전트와, 작업을 완료하기 위해 데스크톱을 조작하는 컴퓨터 사용(computer-use) 에이전트가 있습니다.

Google의 적합한 사례도 마찬가지입니다. 새로운 장애물이 나타날 때 경로를 재계산하는 로보틱스 에이전트와 같이, 지속적인 계획과 적응이 필요한 복잡하고 동적인 작업입니다 (Google Cloud). 에이전트가 작업하는 동안 제약 조건이 변경되더라도, 루프를 통해 이를 조정할 수 있습니다.

언제 사용하지 말아야 하는가

워크플로(workflow)로 충분한 경우에는 자율 에이전트(autonomous agent)를 사용하지 마십시오. 단계가 예측 가능하다면, 고정된 파이프라인(fixed pipeline)이 더 저렴하고 빠르며 신뢰하기 쉽습니다. 빈도가 높고 복잡도가 낮은 작업에는 사용하지 마십시오. 이러한 작업에서는 결정론적 코드(deterministic code)가 비용과 지연 시간(latency) 측면에서 워크플로와 에이전트 모두보다 우수합니다. 또한, 강력한 가드레일(guardrails)이 없는 신뢰할 수 없는 환경에서는 사용을 피하십시오. 자율성에 위험한 작업 표면(action surface)이 결합되면 작은 실수가 큰 사고로 이어질 수 있기 때문입니다.

알려진 문제점들

자율성에는 대가가 따릅니다. Anthropic은 솔직하게 밝히고 있습니다. 에이전트의 자율적인 특성은 더 높은 비용과 오류가 누적될 가능성을 의미하므로, 적절한 가드레일을 갖춘 샌드박스(sandboxed) 환경에서 광범위한 테스트를 수행할 것을 권장합니다 (Anthropic).

Google은 두 가지 구체적인 위험을 명시합니다. 다단계 루프(multi-step loop)는 단일 쿼리(single query)에 비해 엔드 투 엔드 지연 시간(end-to-end latency)을 높일 수 있습니다. 또한 에이전트의 품질은 모델의 추론(reasoning) 능력에 크게 의존하므로, 하나의 관찰(observation)에서 발생한 오류나 오도하는 도구 결과가 전파되어 최종 답변을 틀리게 만들 수 있습니다 (Google Cloud). 초기에 발생한 하나의 잘못된 관찰이 그 이후의 모든 과정을 탈선시킬 수 있습니다.

시작하기 전에 알아야 할 세 가지

1. 중단 조건(stopping condition)을 설정하십시오. 최대 반복 횟수(maximum iteration count)를 설정하면 에이전트가 길을 잃고 영원히 실행되는 것을 방지할 수 있습니다.
2. 프롬프트(prompt)뿐만 아니라 도구(tool)에 투자하십시오. 에이전트는 도구를 통해 행동하므로, 명확하고 실수 없는 도구 인터페이스(tool interface)가 신뢰성을 결정하는 핵심입니다.
3. 먼저 샌드박스(sandbox)에서 실행하십시오. 에이전트가 중요한 대상에 대해 행동하도록 허용하기 전에, 가드레일이 있는 격리된 환경에서 먼저 테스트하십시오.

FAQ

ReAct 패턴이란 무엇인가요?
ReAct는 자율 에이전트의 배후에 있는 추론 루프(reasoning loop)입니다. 모델이 생각하고, 도구 호출(tool call)과 같은 행동을 취하며, 결과를 관찰하고, 답변을 얻을 때까지 이 과정을 반복합니다 (ReAct paper).

에이전트와 워크플로 (workflow)의 차이점은 무엇인가요?
워크플로 (workflow)에서는 제어 흐름 (control flow)이 코드 내에 고정되어 있습니다. 반면 에이전트 (agent)에서는 모델이 런타임 (runtime)에 제어 흐름을 결정합니다. 이러한 유연성은 더 많은 비용을 발생시키며 디버깅 (debug)하기도 더 어렵습니다.

자율 에이전트 (autonomous agents)는 왜 비용이 더 많이 드나요?
에이전트는 여러 차례의 턴 (turns)을 실행하며, 각 턴은 모델 호출 (model call)로 이루어집니다. 모든 호출은 지연 시간 (latency)과 비용을 추가합니다. 또한 오류가 단계별로 누적될 수 있어 더 많은 테스트가 필요합니다.

자율 에이전트를 어떻게 안전하게 유지할 수 있나요?
샌드박스 (sandbox)에서 테스트하고, 가드레일 (guardrails)을 추가하며, 최대 반복 횟수 (maximum iteration count)를 설정하십시오. 그리고 중요한 결정이 필요한 작업에는 인간 참여 (human in the loop) 방식을 유지하십시오.

출처

• Anthropic, Building Effective Agents: https://www.anthropic.com/engineering/building-effective-agents
• Google Cloud Architecture Center, Choose a design pattern for your agentic AI system: https://docs.cloud.google.com/architecture/choose-design-pattern-agentic-ai-system
• Yao et al., ReAct: Synergizing Reasoning and Acting in Language Models: https://arxiv.org/abs/2210.03629