대부분의 사람들은 거대 언어 모델 (Large Language Models, LLMs)을 미화된 검색 엔진처럼 취급합니다. 질문을 던지고, 출력을 훑어보고, 탭을 닫는 식이죠. 그러한 워크플로우 (workflow)는 단순 상식 수준의 질문에는 괜찮습니다. 하지만 계획, 순서 지정, 그리고 반복 (iteration)이 필요한 작업에는 적합하지 않습니다.

지금 실제로 중요한 변화는 새로운 모델이나 새로운 API (Application Programming Interface)가 아닙니다. 그것은 올바르게 구조화된 프롬프트 (prompt)가 언어 모델을 정교한 자동 완성 엔진에서, 스스로 작업을 계획하고, 단계별로 실행하며, 무엇이 잘못되었는지 평가하고, 사용자가 매 순간 조종하지 않아도 스스로 궤도를 수정하는 존재로 변모시킬 수 있다는 깨달음입니다.

이것은 이론이 아닙니다. 아래의 프롬프트는 오늘날 GPT-4 또는 그 이후 버전의 모든 ChatGPT 세션에서 작동합니다. 플러그인도, API 키도, 코드도 필요 없습니다.

프롬프트 (The Prompt)

당신은 자율형 AI 에이전트 (autonomous AI agent)입니다.

당신의 임무는 다음과 같습니다:
...

단 10줄입니다. 이것이 전체 구조입니다. [Goal] 부분을 무엇이든으로 교체하세요. 시장 조사, 콘텐츠 전략 초안 작성, 경쟁사 포지셔닝 분석, 보고서 작성 및 자체 편집 등 무엇이든 가능합니다. 에이전트가 실행될 것입니다.

이것이 작동하는 이유 (그리고 왜 대부분의 사람들이 놓치는지)

표준적인 반론: "특별한 일을 하기에는 너무 단순해 보입니다."

이 반론은 틀렸으며, 그 이유를 이해하는 것은 언어 모델이 실제로 어떻게 행동하는지에 대해 중요한 사실을 알려줍니다.

LLM은 단순한 텍스트 생성기가 아닙니다. 이들은 컨텍스트 윈도우 (context window) 내의 모든 것에 의해 제약받는 다음 토큰 예측기 (next-token predictors)입니다. 당신이 모델에게 "내 마케팅을 도와줘"와 같이 모호한 지시를 내리면, 통계적으로 가장 확률이 높은 연속된 내용은 일반적인 글머리 기호 목록입니다. 모델은 수백만 개의 유사한 요청에서 얻은 패턴에 닻을 내리는 (anchoring) 것입니다.

대신 당신이 모델에게 정체성 ("당신은 자율형 에이전트입니다"), 모드 ("이것을 작업 단위로 나누세요"), 그리고 자기 평가 루프 (self-evaluation loop) ("결과를 평가하고 자동으로 개선하세요")를 부여하면, 당신은 분포 제약 (distributional constraints)을 바꾸는 것입니다. 이제 모델의 다음 토큰 예측은 일회성 답변 생성 패턴이 아니라, 체계적이고 반복적인 작업 패턴에 닻을 내리게 됩니다.

이것은 연구자들이 ReAct (Reason + Act, 추론 + 행동) 패턴이라고 부르는 핵심 메커니즘, 즉 추론 흔적 (reasoning traces)과 구체적인 행동을 교차시키는 패러다임의 이면에 있는 원리입니다. Yao 등은 2022년 논문 ReAct: Synergizing Reasoning and Acting in Language Models에서 이를 공식적으로 기록하였으며, 모델이 각 행동을 취하기 전에 단계별로 추론하도록 프롬프팅하는 것이 환각 (hallucination)을 크게 줄이고 복잡한 벤치마크에서의 작업 완료율을 향상시킨다는 것을 입증했습니다. 위의 10줄 구조는 본질적으로 해당 패턴을 인간이 사용하기 쉽게 단순화하여 구현한 것이며, LangChain과 같은 API 오케스트레이션 (orchestration) 프레임워크를 필요로 하지 않으면서도 OpenAI의 o1이나 Anthropic의 Claude 3.5 Sonnet과 같은 고급 모델에서 발견되는 반복적인 추론 동작을 모방합니다.

실제 사례: 경쟁사 분석

실제 목표가 채워진 프롬프트의 모습은 다음과 같습니다:

당신은 자율형 AI 에이전트입니다.

당신의 임무는 다음과 같습니다:
...

이를 GPT-4 세션에서 실행해 보십시오. 결과로 돌아오는 것은 모호한 요약이 아닙니다. 모델은 먼저 임무를 분해할 것이며, 일반적으로 다음과 같은 결과물을 생성합니다: (1) 상위 3개 경쟁사 식별, (2) 포지셔닝 데이터 수집, (3) 가격 구조 추출, (4) 각 경쟁사의 알려진 약점 평가, (5) 전략적 격차 합성. 그런 다음 모델은 계획(plan), 실행(execute), 평가(evaluate), 수정(revise)이라는 전형적인 에이전트 워크플로 루프 (agentic workflow loop)를 통해 각 단계를 수행합니다.

에이전트의 실제 추론 흔적(처음 2개 작업)을 보려면 클릭하세요 →

[작업 1] 생산성 SaaS 도구의 상위 3개 경쟁사 식별
→ 이것이 중요한 이유: 정의된 경쟁사 집합이 없으면 후속 분석의 기준점이 없습니다.
   모든 후속 작업은 이 출력에 의존합니다.
...

저자의 노트 (Author's note): 자기 평가 (self-evaluation) 단계는 이 방식이 일반적인 프롬프팅 (prompting)과 차별화되는 지점입니다. 모델에게 "내 경쟁사를 분석해줘"라고 요청하면 단 한 번의 결과물만 내놓을 것입니다. 하지만 에이전트형 AI 루프 (agentic AI loop)는 두 번째 단계(second pass)를 강제합니다. 즉, 모델이 자신의 출력물을 비판적으로 읽고 실제로 질문에 답했는지 스스로 묻게 만듭니다. 이 두 번째 단계는 첫 번째 단계에서 완전히 놓쳤던 공백을 빈번하게 잡아냅니다.

작동을 가능하게 하는 4가지 구조적 요소

이 프롬프트는 각각 특정한 비중을 가진 네 가지 구성 요소로 이루어져 있습니다. 이를 이해하면 구조를 깨뜨리지 않으면서도 상황에 맞게 조정할 수 있습니다.

1. 정체성 선언 (The Identity Declaration)

You are an autonomous AI agent. (당신은 자율형 AI 에이전트입니다.)

이는 추론 모드 (reasoning mode)를 설정합니다. 이제 모델은 생성 과정을 "도움이 되는 어시스턴트라면 어떻게 답할까"가 아니라, "에이전트라면 이 문제에 대해 어떻게 추론할까"에 고정합니다. 출력 결과의 차이는 매우 큽니다. 에이전트는 계획(plan)을 세우고, 어시스턴트는 응답(respond)합니다.

아래 표는 이러한 차이를 실무적인 수준에서 보여줍니다:

차원 (Dimension)	표준 어시스턴트 모드 (Standard Assistant Mode)	자율형 에이전트 모드 (Autonomous Agent Mode)
핵심 기준 (Core anchor)	반응적인 답변, 일반적인 목록	능동적인 계획, 체계적인 반복 (iteration)
...

2. 미션 선언 (The Mission Statement)

Your mission is: [Goal] (당신의 미션은 다음과 같습니다: [목표])

여기서 "미션 (mission)"이라는 단어는 중요한 역할을 합니다. 이는 단순히 논의할 주제가 아니라, 반드시 완료해야 할 최종 목적 (terminal objective)임을 나타냅니다. 구체적이어야 합니다. 모호한 미션은 모호한 작업 분해 (task decomposition)를 낳습니다. "내 시장을 조사하라"는 주제입니다. 반면, "2025년 B2B SaaS 분야에서 참여율(engagement rate) 기준 상위 5개 콘텐츠 형식을 식별하고, 각 형식당 최소 두 개의 뒷받침하는 데이터 포인트를 제시하라"는 미션입니다.

3. 작업 분해 지침 (The Task Decomposition Instruction)

Break the mission into smaller tasks. (미션을 더 작은 작업들로 나누십시오.)

이것은 계획 (planning) 단계입니다. 이 지침이 없으면 모델은 하나의 거대한 단일 출력물 (monolithic output)을 생성하는 경향이 있습니다. 이 지침이 있으면 의존성 그래프 (dependency graph)를 얻을 수 있습니다. 즉, 모델이 무엇이 무엇보다 먼저 수행되어야 하는지를 식별하고 그에 따라 작업을 구조화합니다.

4. 작업별 평가 루프 (The Per-Task Evaluation Loop)

각 작업에 대해:
- 그것이 왜 중요한지 설명하십시오
- 의존성 (dependencies)을 결정하십시오
...

이것이 바로 에이전트(agent)와 일련의 지시 사항 체인(chain of instructions)을 구분 짓는 루프(loop)입니다. "결과를 평가하고(evaluate results)", "전략을 자동으로 개선하라(improve the strategy automatically)"는 구절이 핵심입니다. 이 구절들은 모델에게 각 단계의 출력을 잠정적인 것으로 취급하도록 지시합니다. 즉, 다음 단계로 넘어가기 전에 평가하고 잠재적으로 수정해야 할 대상으로 보는 것입니다. 이것이 바로 **에이전트 워크플로 (agentic workflow)**의 핵심입니다. 선형적인 스크립트가 아니라, 각 사이클이 이전보다 더 나은 상태의 출력을 만들어내는 반복적인 루프인 것입니다.

파워 유저를 위한 프로 팁 (Pro-Tip): 자기 개선 루프(self-improvement loop)의 한 가지 위험은 모델이 모호한 작업에 대해 무한히 개선 작업을 반복하며 갇힐 수 있다는 점입니다. 즉, 수렴하지 못한 채 동일한 섹션을 약간씩 다른 방식으로 계속 다시 쓰는 것입니다. 이를 방지하려면 각 작업에 대해 (For each task): 루프 제약 조건 내부의 글머리 기호에 11번째 줄을 추가하십시오:

각 작업에 대해:
- 그것이 왜 중요한지 설명하십시오
- 의존성 (dependencies)을 결정하십시오

...

이는 에이전트형 AI (agentic AI)에 명확한 종료 조건 (exit condition)을 부여합니다. 모델은 문제를 두 번의 패스(pass) 내에 해결할 수 없으면 조용히 루프를 도는 대신, 문제를 표시하고 다음으로 넘어갑니다. 광범위하거나 개방형 미션의 경우 이 방법을 강력히 권장합니다.

이 방식이 실패하는 지점

어떠한 프롬프팅 기술도 실패 모드 (failure modes)로부터 자유로울 수 없으며, 이 방식 또한 성능이 저하되는 특정 조건이 있습니다.

실시간 데이터가 필요한 미션. 모델은 기본적으로 인터넷 접속 권한이 없습니다. 만약 미션에 현재 가격, 실시간 검색 결과 또는 최신 뉴스가 필요하다면, 에이전트는 그럴듯하게 들리는 데이터를 환각 (hallucinate)할 것입니다. 이 패턴은 브라우징 기능이 활성화된 ChatGPT에서 사용하거나, 검색 도구가 연결된 API를 통해 사용하십시오.

진정으로 너무 광범위한 미션. "내 스타트업을 구축하라"는 미션이 아닙니다. 에이전트는 기술적으로는 구조화되어 있지만 실질적으로는 쓸모없는, 방대한 분해 결과물을 만들어낼 것입니다. 미션의 범위를 한 세션 내에 현실적으로 완료할 수 있는 수준으로 설정하십시오.

외부 작업이 필요한 미션들. 에이전트는 계획을 세우고, 글을 쓰고, 분석할 수 있습니다. 하지만 여러분이 해당 도구 연결을 명시적으로 제공하는 프레임워크를 사용하고 있지 않는 한, 이메일을 보내거나, 여러분의 환경에서 코드를 실행하거나, 외부 시스템과 상호작용할 수는 없습니다. ChatGPT 단독으로는 에이전트의 능력이 추론 (Reasoning) 및 텍스트 생성 (Text generation)에 국한됩니다.

실질적인 함정: 가장 흔한 실수는 "모델이 무엇을 할 것인지 설명한 것"과 "모델이 그것을 실제로 수행한 것"을 혼동하는 것입니다. 에이전트는 실제로 실행한 것이 아니라 단지 계획했을 뿐임에도 불구하고, 마치 실행한 것처럼 단계를 서술할 때가 있습니다. 출력 내용을 비판적으로 읽으십시오. 만약 특정 단계가 모델이 접근해서는 안 되는 외부 데이터에 접근해야 하는 것이라면, 해당 단계의 출력물을 검증이 필요한 초안으로 취급하십시오.

이를 더 큰 워크플로우 (Workflows)에 연결하기

이 10줄짜리 에이전트 프롬프트는 독립적인 도구인 동시에, 하나의 빌딩 블록 (Building block)이기도 합니다.

에이전트가 자신의 출력물을 다른 프로세스 — 포맷터 (Formatter), 편집자 (Editor), 발행 단계 (Publishing step) — 로 전달해야 하는 순간, 여러분은 프롬프트 체이닝 (Prompt chaining)의 영역으로 진입하게 됩니다. 단일 에이전트 루프 (Single-agent loop)가 무엇을 만들어낼 수 있는지 확인했다면, 다단계 프롬프트 워크플로우가 어떻게 구조화되는지를 이해하는 것이 자연스러운 다음 단계입니다.

만약 여러분이 더 견고한 에이전트 시스템 — 즉, 감독 없이 실행되거나, 도구를 호출하거나, 실패 조건 (Failure conditions)을 우아하게 처리하도록 설계된 시스템 — 을 구축하고 있다면, 엔지니어링 요구 사항은 훨씬 더 깊어집니다. 전체 자율형 AI 에이전트를 위한 프롬프트 엔지니어링 플레이북 (Prompt Engineering Playbook for Autonomous AI Agents)에서는 프로덕션급 (Production-grade) 에이전트가 요구하는 4개 섹션 시스템 프롬프트 아키텍처 (정체성, 행동 규칙, 추론 프로토콜, 중단 조건)를 다룹니다.

정밀하게 에이전트 프롬프트 구축하기

이 10줄의 구조는 시작점으로 작동합니다. 이를 특정 사용 사례에 맞게 조정하려면 각 구성 요소를 정밀하게 지정해야 합니다. 그리고 바로 이 지점에서 많은 사람들이 채팅창에서 처음부터 다시 작성하며 필요 이상의 시간을 소비하곤 합니다.

Prompt Scaffold는 위에서 언급한 구성 요소인 역할 (Role), 작업 (Task), 맥락 (Context), 형식 (Format), 제약 사항 (Constraints)에 직접 매핑되는 구조화된 빌더를 제공합니다. 각 요소는 실시간 토큰 수와 미리보기가 포함된 전용 필드에 배치됩니다. 이것의 가치는 단순히 편리함에만 있지 않습니다. 구조화된 필드를 채우는 과정은 각 구성 요소를 개별적으로 명시하도록 강제하며, 이는 자유 형식의 글쓰기(free-form writing)가 덮어버리기 쉬운 빈틈을 찾아내 줍니다. 그곳에서 개별 구성 요소를 구축한 다음, 이를 에이전트 루프 (agent loop)로 조립하십시오.

실제로 일어나고 있는 변화

챗봇 (chatbot) 시대는 더 나은 답변을 생성하는 데 최적화되었습니다. 그것도 가치가 있었습니다. 하지만 답변은 수동적입니다. 정보를 제공하고 멈출 뿐입니다.

에이전트형 AI (agentic AI) 시대는 다릅니다. AI가 행동을 취할 때 — 계획하고, 순서를 정하고, 평가하고, 수정할 때 — AI는 정보를 제공하는 단계에서 실행하는 단계로 넘어갑니다. 에이전트형 워크플로 (agentic workflows)는 이러한 변화를 실질적으로 만드는 메커니즘입니다. 즉, 단일 명령이 아니라 작업이 완료될 때까지 실행되는 루프 (loop)입니다. 이러한 차이는 지식 노동을 하는 모든 이들에게 실질적인 결과를 가져옵니다. 잘 지정된 에이전트 프롬프트 (agent prompt)를 통해 한 시간 동안 성취할 수 있는 한계치는, 잘 다듬어진 질문을 통해 성취할 수 있는 한계치보다 유의미하게 높습니다.

위의 10줄 프롬프트는 편법이나 속임수가 아닙니다. 이는 피드백 루프 (feedback loop)의 최소 사양입니다. 더 정교한 에이전트형 프레임워크 (agentic frameworks)의 근간이 되는 것과 동일한 피드백 루프를, 단지 오늘 바로 사용할 수 있도록 평이한 영어로 표현했을 뿐입니다. 제로샷 (zero-shot) 작업에는 한계가 있지만, 반복적인 에이전트형 루프 (iterative agentic loops)에는 한계가 없습니다.

AI를 질문 답변 도구로 취급하는 사람과 실행 엔진으로 취급하는 사람 사이의 격차는 점점 벌어지고 있습니다. 그 격차를 넘어서기 위해 필요한 거리는 단 10줄입니다.