“완벽한 프롬프트”에 집착하던 시대가 저물고 있습니다.

지난 1년 동안 우리 중 많은 이들이 LLM (Large Language Model)의 성능을 끌어올리기 위해 시스템 지침 (system instructions)을 반복해서 수정하며 수많은 시간을 보냈습니다. 우리는 프롬프트를 마치 마법 주문처럼 다루었습니다. 하지만 프로덕션급 (production-grade) AI에서 프롬프트는 단지 하나의 변수일 뿐입니다. 진정한 엔지니어링이자 진정한 차별점은 모델을 둘러싼 시스템 디자인 (system design)입니다.

"하네스 (Harness)"가 한계를 결정한다

업계 전문가들이 자주 언급하듯, 모델이 바닥(floor)을 설정한다면, 하네스 (harness)는 천장(ceiling)을 설정합니다.

이 하네스란 무엇일까요? 그것은 당신의 에이전트 (agent)를 위한 인프라입니다. LLM을 실제 환경에서 유용하게 만드는 비계 (scaffolding)와 같습니다. 만약 프롬프트에만 집중한다면, 당신은 모래 위에 집을 짓고 있는 것입니다.

• 메모리 (Memory): 장기적인 지식을 어떻게 저장, 검색 및 요약할 것인가?
• 도구 호출 (Tool Calling): 에이전트가 API, 파일, 데이터베이스와 어떻게 안전하게 상호작용할 것인가?
• 내구성 있는 실행 (Durable Execution): 프로세스가 충돌했을 때, 에이전트가 상태 (state)를 복구할 수 있는가?
• 오케스트레이션 (Orchestration): 멀티 에이전트 (multi-agent) 간의 인계와 복잡한 하위 작업 (sub-tasks)을 어떻게 관리할 것인가?

AI 에이전트 스택 (AI Agent Stack)

여전히 프롬프트만 바라보고 있다면, 에이전트를 프로덕션 환경에 적합하게 만드는 아키텍처 계층 (architectural layers)을 놓치고 있는 것입니다. 전형적인 에이전트 스택은 단일 API 호출보다 훨씬 더 깊습니다:

1. 에이전트 런타임 (Agent Runtime): 추론 루프 (생각하기, 도구 호출, 관찰하기, 성찰하기).
2. 모델 계층 (Model Layer): 추론을 구동하는 엔진.
3. 도구 계층 (Tool Layer): 에이전트의 "손".
4. 메모리 계층 (Memory Layer): 단기 작업 메모리 및 장기 검색.
5. 관찰 가능성 및 안전성 (Observability & Safety): 디버깅, 평가 및 비용 제어 가드레일 (guardrails).

시스템 디자인이 승리하는 이유

AI 에이전트를 텍스트 완성 (text-completion) 작업이 아닌 소프트웨어 시스템으로 취급할 때, 당신의 우선순위는 바뀝니다.

견고함 (Robustness)은 완벽하게 정교한 시스템 지침 (system instructions)에서 오는 것이 아니라, 실패를 고려한 설계에서 옵니다. 오류 복구 (error recovery)를 우선시하는 간단하고 모듈화된 에이전트 루프 (agent loop) 구현 사례를 살펴보겠습니다:

def run_agent_loop(task, context):
    memory = initialize_memory(context)
    while not task.is_complete():
...

미래는 인프라에 있다

프롬프트 엔지니어링 (Prompt engineering)은 항상 워크플로 (workflow)의 일부로 남겠지만, 더 이상 병목 현상 (bottleneck)이 아닙니다. 진짜 과제는 컨텍스트 (context) 관리, 신뢰할 수 있는 도구 실행 (tool execution) 보장, 그리고 문제가 발생했을 때 스스로 수정할 수 있는 시스템을 구축하는 데 있습니다.

실제로 작동하는 AI를 만들고 싶다면, 다음 모델 출시를 쫓는 것을 멈추고 당신의 하네스 (harness)에 투자하기 시작하십시오. 회복 탄력성 (resilience), 확장성 (scalability), 그리고 관찰 가능성 (observability)을 위한 엔지니어링이 장난감 같은 챗봇과 프로덕션급 (production-grade) 에이전트를 구분 짓는 요소입니다.

당신은 무엇을 만들고 있나요? 하네스에 집중하고 있습니까, 아니면 프롬프트에 집중하고 있습니까? 댓글로 알려주세요.