“챗봇(chatbot)”과 “AI 에이전트(AI agent)”라는 용어는 혼용되어 사용되며, 대부분의 마케팅에서는 단지 다른 라벨을 붙인 같은 것으로 취급합니다. 하지만 그렇지 않습니다. 이 둘의 차이는 아키텍처적인 것이며, 이 차이가 그 도구가 실제로 작업을 수행하는지 아니면 단순히 작업에 대해 이야기만 하는지를 결정합니다.

이것이 기술적인 분석이며, 시스템을 구축하거나 선택할 때 왜 중요한지에 대한 설명입니다.

챗봇은 요청-응답 루프입니다

본질적으로 챗봇은 상태 비저장(stateless) 또는 약한 상태 저장(lightly stateful)의 요청-응답 시스템입니다. 사용자가 입력을 보내면, 그것이 출력을 반환하고 상호작용은 거기서 끝납니다. 모델은 프롬프트에 기반하여 텍스트 완성을 생성하며, 그 완성된 결과로 무엇을 할지는 전적으로 사용자에게 달려 있습니다.

User input -> LLM -> text output -> [사용자가 작업을 수행]

핵심적인 부분은 바로 마지막 단계입니다. 챗봇의 출력물은 _조언_이나 _정보_일 뿐입니다. 데이터셋을 어떻게 정리해야 하는지 알려줍니다. 보고서를 어떻게 작성해야 하는지 설명해 줍니다. 무엇을 해야 할지 제안합니다. 하지만 실행, 즉 실제 작업은 사용자에게 다시 돌아옵니다. 루프는 생성 단계에서 종료됩니다.

이것이

• 작업 분해 (Task decomposition) — 한 번에 답변하는 대신 목표를 실행 가능한 단계로 나누는 것
• 도구 사용 / 함수 호출 (Tool use / function calling) — 단순히 설명하는 것이 아니라 실제로 작업을 수행하는 능력 (데이터 처리, 문서 생성, API 호출 등)
• 상태 및 메모리 (State and memory) — 단계별 진행 상황을 추적하여 시스템이 완료된 작업과 남은 작업을 알 수 있게 하는 것
• 자기 평가 (Self-evaluation) — 첫 번째 생성물을 내놓고 멈추는 대신, 목표에 비추어 출력을 확인하고 반복하는 것

이 중 하나라도 제거하면, 추가적인 단계만 더해진 챗봇으로 다시 회귀하게 됩니다.

실무에서 "특화된(specialized)" 모델이 "범용(general)" 모델보다 나은 이유

모든 것을 처리하는 하나의 범용 에이전트(general agent)를 만들고 싶은 유혹이 있습니다. 하지만 실무에서는 범위(scope)가 에이전트 출력의 신뢰성을 결정합니다.

범용 에이전트는 주어진 요청에 대해 엄청나게 넓은 행동 공간(action space)과 모호한 목표를 가집니다. 계획은 길어지고, 평가 기준은 흐릿해지며, 실패 모드(failure modes)는 기하급수적으로 늘어납니다. 결국 당신은 다시 '베이비시팅(babysitting)' 문제에 직면하게 됩니다. 즉, 작업을 직접 수행하는 것만큼이나 출력물을 확인하고 수정하는 데 시간을 쓰게 되는 것입니다.

단일하고 잘 정의된 작업으로 범위를 한정한 특화된 에이전트(specialized agent)는 좁은 행동 공간과 명확한 성공 조건을 가집니다. 이러한 제약은 결함이 아니라 기능(feature)입니다. 이것이 출력을 검증 가능하고 바로 배포할 수 있게(shippable) 만드는 핵심입니다.

이를 구체화하기 위해, 일련의 작업 특화 에이전트들 사이에서 이것이 어떻게 작용하는지 살펴보겠습니다:

• 데이터 분석 (data analysis) 에이전트는 단 하나의 작업, 즉 원시 데이터(raw data)를 입력받아 깔끔한 분석 결과를 내놓는 일을 수행합니다. 성공 조건이 명확하게 정의되어 있습니다.
• 이메일 (email) 에이전트는 문맥(context)을 바탕으로 답장 초안을 작성합니다. 범위가 좁고 결과물이 검증 가능합니다.
• 회의록 (meeting notes) 에이전트는 녹취록을 구조화된 노트와 실행 항목(action items)으로 변환합니다. 입력과 출력이 명확합니다.
• 문서 생성 (document generation) 에이전트는 입력값으로부터 서식이 지정된 문서를 생성합니다. 결정론적(deterministic) 목표와 확인 가능한 결과를 가집니다.
• 요약 (summarization) 에이전트는 긴 입력을 핵심 사항으로 압축합니다. 평가하기 쉽습니다.
• 웹 스크래핑 (web scraping) 에이전트는 정보를 추출하고 구조화합니다. 정의된 대상과 구조화된 출력을 가집니다.
• 번역 (translation) 에이전트는 콘텐츠를 언어 간에 이동시킵니다. 모호하지 않은 작업입니다.
• 코드 보조 (code assistance) 에이전트는 제한된 기술적 문맥(technical context) 내에서 작동합니다.
• FAQ 생성 (FAQ generation) 에이전트는 소스 자료를 구조화된 Q&A로 변환합니다.
• 고객 지원 (customer support) 에이전트는 반복적이고 잘 알려진 문의를 처리합니다.
• 콘텐츠 작성 (content writing) 에이전트는 브리프(brief)를 초안으로 변환합니다.
• 브레인스토밍 (brainstorming) 에이전트는 시작점에서 아이디어의 방향을 생성합니다.

각 에이전트는 "성공했는가?"라는 질문에 답할 수 있을 만큼 충분히 좁은 범위를 가지고 있습니다. 이것이 시간을 절약해 주는 에이전트와 사후 정리 작업(cleanup work)을 유발하는 에이전트를 구분 짓는 차이점입니다.

실질적인 테스트

만약 이러한 도구 중 하나를 평가하고 있다면, 질문은 "모델이 좋은가?"가 아닙니다. 모든 현대적인 모델은 인상적인 텍스트를 생성할 수 있습니다. 질문은 이것입니다: 결과물을 보고 나서 당신이 작업을 뒤이어 수행해야 합니까, 아니면 작업이 완료되었습니까?

만약 당신이 여전히 실행을 해야 한다면 — 그것이 무엇으로 명명되었든 간에 그것은 챗봇 (chatbot)입니다. 반면, 작업이 완료되어 돌아오고 당신이 직접 수행하는 대신 검토를 하고 있다면 — 그것은 에이전트 (agent)입니다.

이 단 하나의 차이점은 그 어떤 벤치마크 (benchmark)보다 더 큰 가치가 있습니다.

저는 이 아이디어를 바탕으로 BrainPath를 구축하고 있습니다: 조언이 아닌 완료된 결과물을 반환하도록 설계된, 각각 하나의 작업에 범위가 지정된 12개의 전문 에이전트 (specialized agents)입니다. 실제 차이를 확인하고 싶다면 무료로 체험해 보세요.