최신 AI의 흐름 따라가기 어려움: 프롬프트 엔지니어링부터 그래프 엔지니어링까지

AI의 진화는 엄청나서, 얼마 전까지만 해도 '어떻게 마법 같은 프롬프트(지시문)를 작성할 것인가'에만 초점이 맞춰져 있던 논의가 현재는 완전히 다른 단계로 이동했습니다.

이 최전선의 트렌드를 이해하기 위해, 먼저 '현재 AI의 근본적인 작동 방식'을 확인해 봅시다.

ChatGPT 같은 AI는 사실 '의미를 이해하고 생각하는' 것이 아닙니다. 기본적으로 스마트폰의 '예측 변환' 기능이 엄청나게 고도화된 것이라고 상상하시면 됩니다. 입력된 문장의 다음 내용으로, '과거의 방대한 데이터에서 다음에 올 확률이 가장 높은 단어를 예측하여 계속 출력하는' 방식으로 작동합니다.

따라서 '복잡한 계산이나 논리 퍼즐을 한 번에 풀어줘'라고 요청하면, 도중에 확률 예측에 오류가 생겨 논리가 무너지거나, 그럴듯한 거짓말을 하게 됩니다.

지금까지는 최신 거대 AI에게 완벽한 답을 한 번에 얻어내는 접근 방식이 주류였습니다. 하지만 현재의 최전선에서는 'Agentic Workflow(자율적 워크플로우)'라는 생각으로 패러다임 시프트가 일어나고 있습니다.

이는 'AI에게 한 방 승부를 맡기는 것이 아니라, AI에게 도구를 주고 계획을 세우게 하고, 반성하고 수정하는 과정을 반복하게 하는 것이 결과적으로 압도적으로 높은 성능을 낸다'는 접근 방식입니다.

본 기사에서는 AI를 단순한 '확률로 단어를 반환하는 챗봇'에서 '자율적으로 생각하고 행동하며 수정하는 시스템'으로 진화시키는 데 필수적인 5가지 엔지니어링에 대해, 기초가 되는 메커니즘부터 자세히 설명합니다.

프롬프트 엔지니어링은 단순한 '요청의 기교'가 아닙니다.

사람이 복잡한 세 자리 곱셈을 할 때, 머릿속(암산)으로만 하려고 하면 실수하지만, 종이에 풀이 과정을 적으면서(풀이 과정 작성) 하면 정확하게 풀 수 있습니다. AI에게도 화면에 텍스트를 출력하는 것 자체가 사람에게는 '메모하기(작업 기억)'에 해당합니다.

따라서 복잡한 작업을 한 번에 답을 얻어내게 하는 것이 아니라, '단계별로 생각해줘'라고 지시하여 중간 과정을 강제로 화면에 쓰도록 만듭니다. 이를 'Chain-of-Thought(사고의 연쇄)'라고 부릅니다. AI에게 '생각하는 과정'을 텍스트로 소비하게 만드는(풀이 과정 작성하게 하는) 방식으로 최종 결론의 정확도를 극적으로 향상시키는 기술입니다.

프롬프트 엔지니어링은 Agentic Workflow에서 'Planning(계획 수립)'을 담당하기 위한 엄격한 코드로 기능합니다.

예를 들어 논리 퍼즐을 풀게 할 경우, 다음과 같이 AI의 '추론 단계'를 강제하는 프롬프트를 작성합니다.

당신은 논리 퍼즐 전문가입니다. 다음 문제에 대해 직관으로 답하는 것이 아니라, 반드시 다음 단계에 따라 사고 과정을 출력한 후에 최종 결론을 내주세요.
【단계】
1. 전제 조건을 목록으로 빠짐없이 추출한다
...

AI의 계산 회로(추론의 경로)를 텍스트로 디자인하는 것이 이것이 프롬프트 엔지니어링의 기본입니다.

AI 모델은 자체 최신 데이터를 알지 못합니다. 그래서 질문과 관련된 사내 자료를 순식간에 찾아내어, 프롬프트 일부로 삽입하는 기술이 'RAG(검색 확장 생성)'입니다.

RAG를 이해하기 위한 전제 지식이 '벡터'입니다. 어렵게 들리지만, 본질적으로 문장을 '의미의 지도(좌표)' 위에 배치하는 기술입니다. 사용자 질문을 이 지도 위에 놓고, 가까운 위치에 있는 자료(의미가 비슷한 자료)를 끌어오는 것이 기존 RAG의 방식이었습니다.

하지만 이 방법으로는 '사과'와 '귤'처럼 의미가 비슷한 단어(점)는 가져올 수 있지만, '이 프로젝트의 책임자는 누구이며, 그 사람은 다른 어떤 일을 하고 있는가?' 같은 복잡한 질문에는 답할 수 없습니다.

이 한계를 돌파하기 위해 두 가지 진화가 일어나고 있습니다.

첫 번째는 'Agentic RAG'입니다. AI 자신이 '현재 지식으로는 답할 수 없다'고 판단하고, 스스로 검색 키워드를 생각하여 검색 도구를 사용해 능동적으로 정보를 찾아가는 메커니즘입니다.

두 번째는 'GraphRAG'입니다. 정보를 점으로만 다루지 않고, 드라마의 '인물 관계도'처럼 정보들끼리 'A사와 B사는 협업하고 있다'와 같은 관계선의 데이터베이스(지식 그래프)를 구축합니다. 이를 통해 AI는 점과 점의 연결을 이해하여 고도의 분석이 가능해집니다.

사내 챗봇 시스템에서는, 백그라운드에서 AI가 검색 도구를 작동시키고, 다음과 같이 얻은 규정을 시스템 프롬프트에 동적으로 삽입하고 있습니다.

당신은 친절한 사내 어시스턴트입니다. 아래의 【사내 규정】만을 정보원으로 사용하여 사용자 질문에 답변해 주세요.
【사내 규정】
...

기업의 실전 환경에서 AI를 구동할 때, 프롬프트로 '거짓말하지 마세요'라고 지시해도 막기는 어렵습니다. 왜냐하면 앞서 설명했듯이 AI는 '확률적으로 단어를 선택하는' 성질을 가지고 있기 때문입니다. 교통 규칙을 알려줘도 사고가 날 확률을 0%로 만들 수는 없는 것과 같습니다.

반면, 기존의 시스템 개발은 '1+1을 입력하면 반드시 2가 반환되는', 즉 '결정론적(Deterministic)'인 것이었습니다. AI의 '확률적' 행동을 그대로 사용자에게 보여주는 것은 매우 위험합니다.

그래서 AI의 추론 회로 바깥쪽에, 기존의 '절대 규칙을 지키는 프로그램'을 끼워 넣습니다. 프롬프트로 부탁하는 것이 아니라, 볼링장의 가드레일이나 신호등의 차단기처럼 물리적인 방어선을 시스템에 설치하는 메커니즘을 'Harness(하네스 = 안전벨트)'라고 부릅니다.

NVIDIA의 'NeMo Guardrails'와 같이, 시스템 레이어에 방어선(Guardrails)을 까는 기술이 필수화되고 있습니다.

아래는 경쟁사 관련 질문을 시스템 레벨에서 차단하는 가드레일 설정(규칙 언어)의 예시입니다.

# 【가드레일 설정 예시】
# 1. 사용자의 '경쟁사에 관한 질문'이라는 의도를 정의
define user ask about competitors
...

이처럼 부적절한 화제를 인터셉트(차단)하고, 시스템으로서 안전성을 담보하는 것이 하네스 엔지니어링입니다.

AI에게 자율적인 작업을 시키려면, 텍스트를 반환할 뿐만 아니라 AI 자신이 외부 세계에 개입할 수 있어야 합니다. 그ための '마술봉(도구)'이 'API'입니다. AI에게 '웹 검색을 하는 API'나 '계산기를 사용하는 API'를 갖게 함으로써, AI는 '행동'을 할 수 있게 됩니다.

AI에게 '사고(Reason) → 행동(Act) → 관찰(Observe)'라는 루프를 돌리게 하는 방식이 'ReAct (Reasoning and Acting)'입니다.

Agentic Workflow에서 가장 중요하게 여겨지는 패턴 중 하나가 'Reflection(자기 반성)'입니다.

AI에게 프로그램을 작성하게 하고 실행시키고, 만약 에러가 발생했을 경우, 거기서 멈추는 것이 아니라 에러 화면(관찰 결과)을 AI 스스로 읽게 합니다. 그러면 AI는 '자신의 코드의 이 부분이 잘못되었다'라고 반성하고, 스스로 다시 작성하여 재실행합니다. 이 'Self-Healing(자기 수복)' 루프를 돌림으로써, AI의 문제 해결 능력은 비약적으로 향상됩니다.

예를 들어 '현재 Apple의 주가와 뉴스를 요약해 주세요'라는 지시에 대해, AI는 다음과 같이 루프를 돕니다.

Thought(사고): 먼저 주가를 알아야 한다. 주가 API(도구)를 사용하자. -
Action(행동): 주가 취득 도구를 실행. -
Observation(관찰): 에러 발생. '회사 기호가 유효하지 않습니다' -
Reflection(반성): 도구에 전달하는 방식이 잘못되었다. 수정해서 다시 실행해 보자.

AI가 도구를 능숙하게 다루게 되면, 이번에는 '리서치 전문 AI'나 '작문 전문 AI' 등 여러 다른 AI를 연계시켜 거대한 작업을 시키자는 발상이 생겨납니다(Multi-agent Collaboration).

하지만 여러 AI를 규칙 없이 자유롭게 대화시키면, '서로 인사를 반복하는', '의견이 대립하여 무한히 다투는' 등의 시스템 파탄이 일어납니다.

이를 방지하기 위해 도입되는 것이 'State Machine(상태 전이)'라는 개념입니다. 어렵게 들리지만, 요컨대 '교차로의 신호등'과 같습니다. '리서치 AI의 작업이 끝날 때까지, 작문 AI는 빨간불(대기)'처럼, 엄격한 플로우 차트를 만들어서 AI들 간의 교통 정리를 하는 메커니즘입니다.

LangGraph나 AutoGen, CrewAI 같은 프레임워크를 이용해 이 상태 머신(신호등)에 의해 AI들 간의 연계를 통제하는 그래프 엔지니어링이 주류가 되고 있습니다.

예를 들어 자동 블로그 작성 시스템에서는, 감독 역할(Supervisor)의 노드가 전체를 통제합니다.

작성 AI가 작성한 기사를 교정 AI가 검토하고, 만약 '정보가 불충분'하다고 판정되면 감독 역할이 처리를 리서치 AI에 되돌리는(재요청) 등의 조건 분기 및 루프를 그래프(순서도) 상에서 엄격하게 정의합니다. 이를 통해 멀티 에이전트 시스템이 폭주하지 않으면서도 견고하게 업무를 완수하는 것이 가능해집니다.

이러한 접근 방식들은 독립적인 것이 아니라, 최신 AI 시스템에서 '마트료시카(Matryoshka)' 인형처럼 결합되어 기능합니다.

프롬프트 기반 추론(Planning)을 핵심으로 삼고, 컨텍스트(Context)로 외부 지식(Tool Use)을 보강하며, 하네스(Harness)로 안전성을 확보하고, 루프(Loop)로 반성 및 수정(Reflection)을 수행한 후, 마지막으로 그래프(Graph)를 통해 여러 에이전트가 협력(Multi-agent Collaboration)하도록 합니다. 이것이 AI 시스템 구축에서의 아키텍처입니다.

• The Dawn of Agentic Workflow (Andrew Ng): DeepLearning.AI The Batch
• Lost in the Middle: How Language Models Use Long Contexts: https://arxiv.org/abs/2307.03172
• ReAct: Synergizing Reasoning and Acting in Language Models: https://arxiv.org/abs/2210.03629
• LangGraph 공식 문서: https://langchain-ai.github.io/langgraph/