에이전트(Agent)를 구축하는 방법

올해 모든 기업이 에이전트(Agent) 구축에 대해 이야기하고 있는 것처럼 보이지만, 실제로 이를 구현한 기업은 훨씬 적습니다. 에이전트가 비즈니스를 어떻게 변화시킬 수 있을지에 대해 상상의 나래를 펼치기는 쉽지만, 많은 팀이 어디서부터 시작해야 할지, 어떻게 진전을 이룰지, 그리고 기대치를 어디에 설정해야 할지 확신하지 못하고 있습니다.

이 가이드에서는 아이디어에서 영향력(Impact)으로 나아가는 프레임워크를 살펴볼 것이며, 이메일 에이전트(Email Agent)를 구축하는 실제 사례를 통해 이를 설명할 것입니다.

1단계: 예시를 통해 에이전트의 업무 정의하기

현실적이고 에이전트가 필요한 작업을 선택하세요.

똑똑한 인턴에게 가르칠 수 있는 일을 선택하십시오. 만약 당신의 가장 유능한 인턴이라도 충분한 시간과 자원이 주어졌을 때 해당 과업을 완수할 수 없다면, 그 과업은 비현실적이거나 너무 야심 차게 설정된 것일 수 있습니다. 전문가 모드(Expert mode)를 활성화하기 전에 기본기를 다질 수 있음을 먼저 증명하십시오.

먼저 해당 과업에 대한 5~10개의 구체적인 예시를 만드는 것부터 시작하세요. 이는 두 가지 목적을 가집니다:

첫째, 당신의 아이디어가 너무 사소하거나 모호하지 않고 범위(Scope)가 잘 설정되었는지 검증합니다.
둘째, 나중에 성능을 측정하기 위한 기준점(Benchmark)을 제공합니다.

예시: 이메일 에이전트(Email Agent) 구축

이 단계에서 우리는 에이전트가 처리해야 할 작업들을 정의할 것이며, 여기에는 다음과 같은 내용이 포함될 가능성이 높습니다:

주요 이해관계자(Stakeholders)로부터 온 긴급한 이메일의 우선순위 지정
캘린더 가용성을 기반으로 한 회의 일정 예약
스팸 또는 응답이 필요하지 않은 이메일 무시
회사 문서(Documentation)를 기반으로 한 제품 질문에 답변

피해야 할 위험 신호(Red flags):

구체적인 예시를 떠올릴 수 없다면, 범위가 너무 넓을 가능성이 높습니다.
전통적인 소프트웨어(Traditional software)가 더 잘 작동할 상황에서 에이전트를 사용하는 경우 (예: 로직이 단순하고 고정되어 있으며 이미 다른 곳에서 구현되어 있는 경우)
에이전트는 느리고 비용이 많이 들며 때로는 까다로울 수 있습니다. 전통적인 소프트웨어가 일을 완수할 수 있다면 그냥 그것을 사용하십시오!
존재하지 않는 마법을 기대하는 경우 (예: 존재하지 않거나 아직 구축할 수 없는 API 또는 데이터셋에 연결하는 것)

2단계: 운영 절차(Operating procedure) 설계

사람이 해당 작업이나 프로세스를 수행하는 방식에 대해 단계별 지침이 포함된 상세한 표준 운영 절차(SOP, Standard Operating Procedure)를 작성하십시오.

이 단계는 명확하고 합리적인 범위를 가진 문제를 선택했는지 확인하는 데 도움이 됩니다. 또한 에이전트가 처리해야 할 주요 단계, 결정 사항 및 도구들을 드러내어 무엇을 구축할지에 대한 기초를 마련해 줍니다.

예시: 이메일 에이전트(Email Agent) 구축

우리의 이메일 에이전트를 위한 단계별 절차는 다음과 같을 수 있습니다:

이메일 내용과 발신자 문맥(Context)을 분석하여 응답 우선순위 분류
캘린더 가용성 확인 및 화상 회의 일정 예약
이메일, 발신자 및 일정 문맥을 기반으로 응답 초안 작성
사람의 빠른 검토 및 승인 후 이메일 발송

이를 문서화하면 작업 범위가 적절하게 설정되었는지 확인할 수 있으며, 에이전트가 처리해야 할 도구와 로직을 파악할 수 있습니다.

3단계: 프롬프트(Prompt)를 활용한 MVP 구축

시작 지점을 선택하는 것이 중요합니다. 에이전트가 복잡하다면 한 번에 모든 것을 수행하려는 시도는 지나치게 야심찬 계획이 될 수 있습니다. SOP에 명시된 에이전트의 아키텍처(Architecture), 즉 흐름이 어떻게 진행될지, 어떤 결정이 필요한지, 그리고 LLM의 추론(Reasoning)이 필수적인 지점이 어디인지 설계하는 것부터 시작하십시오.

그다음, 가장 핵심적인 LLM 추론 작업(예: 분류, 의사 결정)에 집중하고 이를 잘 처리할 수 있는 프롬프트를 생성함으로써 MVP(Minimum Viable Product, 최소 기능 제품)를 구축하십시오. 대부분의 에이전트는 LLM이 해당 작업을 수행할 만큼 충분히 잘 추론하지 못하기 때문에 실패합니다. 수동으로 입력한 데이터(Hand-fed data)로 단일 프롬프트가 제대로 작동하는 것을 확인하는 것은, 전체 에이전트를 구축하기 전에 자신감을 얻는 데 도움이 됩니다. LangSmith와 같은 프롬프트 엔지니어링(Prompt engineering) 도구는 프롬프트 버전 관리부터 다양한 시나리오나 데이터셋에 대한 테스트, 그리고 반복(Iteration) 과정에서의 성능 추적에 이르기까지 이 프로세스를 효율화하는 데 도움을 줄 수 있습니다.

다음과 같이 단순하게 유지하십시오:

프롬프트에 필요한 모든 데이터나 컨텍스트를 수동 입력으로 시작하십시오 (지금은 자동화를 보류하십시오)
1단계에서 정의한 예시들을 바탕으로 테스트하여 일반적인 유스케이스 (Use cases) 전반에 걸친 성능을 검증하십시오
LLM의 추론 (Reasoning)을 올바르게 구현하는 데 집중하십시오

예시: 이메일 에이전트 (Email Agent) 구축하기

이 단계에서는 시작 단계로서 영향력이 큰 하나의 추론 작업을 식별하고 해결합니다.

이메일 에이전트의 경우, 이메일을 긴급도와 의도(예: 회의 요청, 지원 질문)에 따라 분류하는 것에만 집중하는 것을 의미할 수 있습니다. 이는 에이전트의 나머지 부분이 의존하게 될 기초적인 단계이기 때문입니다.

다음과 같이 직접 입력한 데이터를 사용하여 오직 이 작업만을 수행하는 핵심 프롬프트 (Core prompt)를 작성하는 것부터 시작하십시오:

이메일 내용:
“LangChain의 제품 로드맵에 대해 다음 주에 만날 수 있을까요?” - 발신자: “Jeff Bezos”, 직함: “Amazon CEO” - 출력:
의도 (Intent) = “회의 요청 (Meeting Request)”, 긴급도 (Urgency) = “높음 (High)”

모델이 테스트 케이스 전반에서 이를 일관되게 정확히 수행하게 되면, 핵심 로직이 견고하다는 확신을 얻게 될 것이며—그 위에 구축할 강력한 토대를 갖게 될 것입니다.

4단계: 연결 및 오케스트레이션 (Connect & Orchestrate)

이제 작동하는 프롬프트가 준비되었으므로, 프롬프트를 실제 데이터 및 사용자 입력과 연결할 차례입니다.

이메일 내용, 캘린더 가용성, 제품 문서와 같이 프롬프트에 필요한 컨텍스트나 데이터가 무엇인지 식별하는 것부터 시작하여, 이를 프로그래밍 방식으로(예: API, 데이터베이스 또는 파일 시스템을 통해) 어떻게 액세스할지 계획하십시오.

그런 다음, 적절한 데이터를 프롬프트에 연결하는 오케스트레이션 (Orchestration) 로직을 작성하십시오. 단순한 경우에는 단순히 입력을 직접 전달하는 것을 의미할 수 있습니다. 더 복잡한 워크플로우 (Workflows)의 경우, LLM에 프롬프트를 전달하기 전에 어떤 데이터 소스를 쿼리할지, 언제 호출할지, 그리고 출력값을 어떻게 결합할지를 결정하는 에이전트적 로직 (Agentic logic)이 필요할 수 있습니다.

예시: 이메일 에이전트 (Email Agent) 구축하기

이메일 에이전트의 경우, 이 단계에는 Gmail API (수신 이메일 읽기), Google Calendar API (가용성 확인), 그리고 CRM 또는 연락처 데이터베이스 (발신자 컨텍스트 보강)와의 통합이 포함될 수 있습니다.

그런 다음 다음과 같은 오케스트레이션 (Orchestration) 로직을 구축합니다:

새로운 이메일이 에이전트 (Agent)를 트리거함
에이전트가 CRM에서 또는 웹 검색을 통해 발신자 정보를 가져옴
긴급도와 응답 필요 여부를 결정하기 위해 전체 컨텍스트 (Context)를 프롬프트 (Prompt)에 전달함
미팅이 적절하다고 판단되면, 캘린더 가용성을 확인하고 시간을 제안함
에이전트가 응답 초안을 작성함
사람의 검토를 거친 후, 이메일을 발송함

5단계: 테스트 및 반복 (Test & Iterate)

1단계에서 정의한 예시들을 사용하여 **수동 테스트 (Manually testing)**를 시작하십시오. 목표는 에이전트가 핵심 유스케이스 (Use cases)에 대해 합리적이고 정확한 출력을 생성하는지 확인하는 것입니다. 시스템에 여러 번의 LLM 호출이나 단계가 포함되어 있다면, LangSmith와 같은 도구를 사용하여 트레이싱 (Tracing)을 설정함으로써 흐름을 시각화하고 각 단계에서 결정이 어떻게 내려지는지 디버깅하는 것이 도움이 됩니다.

수동 테스트가 안정화되면, 일관성을 보장하고 엣지 케이스 (Edge cases)를 포착하기 위해 자동화된 테스트 (Automated testing)로 확장하십시오. 팀들은 에이전트의 강점과 약점을 더 잘 파악하기 위해 예시를 수십 개 정도로 늘리곤 합니다. 이는 더 많은 복잡성을 추가하기 전에 성능을 정량화하는 데에도 도움이 됩니다.

모든 예시(기존 + 신규)를 에이전트를 통해 프로그래밍 방식으로 실행
자동화된 성공 지표 (Success metrics)를 정의 — 이는 에이전트의 기대 동작에 대한 명확성을 강제합니다
지표가 놓칠 수 있는 문제를 포착하기 위해 사람의 검토를 선택적으로 사용

예시: 이메일 에이전트 구축하기

이메일 에이전트의 경우, 다음과 같은 몇 가지 핵심 영역에 걸쳐 성공 여부를 정의하고 테스트해야 합니다.

톤 (Tone) 및 안전성: 응답은 전문적이고 정중해야 하며, 환각 (Hallucination) 또는 부적절한 콘텐츠가 없어야 함
의도 및 우선순위 탐지 (Intent & Priority Detection): 이메일은 발신자와 내용에 따라 올바르게 분류되고 우선순위가 지정되어야 함
도구 사용 효율성 (Tool Usage Efficiency): 에이전트는 필요한 도구만 트리거해야 함 (예: 일정 예약이 필요하지 않은 경우 캘린더 확인을 피함)
초안 품질 (Draft Quality): 제안된 답장은 입력된 컨텍스트를 바탕으로 명확하고 관련성이 있으며 정확해야 함

6단계: 배포, 확장 및 개선 (Deploy, Scale, and Refine)

MVP(Minimum Viable Product, 최소 기능 제품)가 안정적으로 작동하기 시작하면, 새로운 기능 추가, 더 넓은 활용 사례(Use Case), 또는 멀티 에이전트 워크플로우(Multi-agent workflows)를 도입하여 범위를 확장하기 시작하십시오. 새로운 기능이나 통합(Integration)을 추가할 때마다, 기존 기능이 망가지지 않도록 5단계의 테스트 프로세스를 반복해야 합니다.

준비가 되면 사용자의 손에 전달될 수 있도록 프로덕션(Production) 환경에 배포하십시오. LangGraph Platform을 사용하면 클릭 한 번으로 에이전트를 빠르게 출시(Ship), 확장(Scale) 및 관리할 수 있습니다.

사람들이 실제로 에이전트를 어떻게 사용하는지 모니터링하십시오. LangSmith와 같은 도구를 사용하면 에이전트의 동작을 실시간으로 추적(Trace)할 수 있어, 비용 급증, 정확도 문제 또는 지연 시간(Latency) 문제를 더 쉽게 발견할 수 있습니다. 실제 사용 사례는 초기 가설과 다른 경우가 많으며, 이러한 통찰(Insight)은 격차를 드러내고, 예상치 못한 요구사항을 표면화하며, 다음 반복(Iteration) 단계에서의 우선순위 설정을 안내할 수 있습니다.

핵심은 출시를 개발의 끝이 아닌, 반복(Iteration)의 시작으로 취급하는 것입니다.

예시: 이메일 에이전트(Email Agent) 구축하기

이메일 에이전트를 배포한 후, 트래픽과 일반적인 사용 사례를 모니터링함으로써 아직 다루지 않은 활용 사례를 발견할 수 있습니다.

이러한 새로운 패턴은 범위를 확장할 기회를 시사합니다. 이를 바탕으로 새로운 통합 기능을 반복적으로 추가하고 프롬프트(Prompt)와 오케스트레이션(Orchestration) 로직을 업데이트할 수 있습니다. 이때 항상 추가 사항을 더 확장하기 전에 테스트와 사용자 피드백을 통해 검증해야 합니다.

결론

이 프로세스는 명확한 활용 사례에 기반하고, 실제 예시를 통해 테스트되었으며, 실제 피드백을 통해 형성된 에이전트를 구축할 수 있도록 설계되었습니다. 이는 단순히 에이전트를 실행시키는 것이 목적이 아니라, 유용하고 신뢰할 수 있으며 사람들이 실제로 일하는 방식에 부합하는 무언가를 만드는 것에 관한 것입니다.

이메일 분류(Triage)를 자동화하든 복잡한 워크플로우를 오케스트레이션하든, 이 6단계는 아이디어에서 영향력(Impact)으로 나아가는 실질적인 경로를 제공합니다. 하지만 작업은 배포에서 끝나지 않습니다. 최고의 에이전트는 반복(Iteration)을 통해 구축됩니다.

그러므로 작게 시작하고, 사용자에게 집중하며, 계속해서 개선해 나가십시오.