AI 에이전트 개발, 실제로 유용한 것은? LangGraph/CrewAI/AutoGen 비교

많은 엔지니어가 'LLM 에이전트' 개발에서 어려움을 겪는 부분이 바로 어떤 '멀티 에이전트 프레임워크'를 선택해야 하는가입니다. LangChain의 등장 이후, 에이전트 개발은 급속히 발전했지만, LangGraph, CrewAI, AutoGen과 같은 새로운 프레임워크들이 난립하면서 각자의 특성을 이해하지 못하고 시작하면 의도치 않은 동작이나 개발 정체에 빠지기 쉽습니다.

본 기사에서는 LLM을 활용한 AI 에이전트 개발에서 주요 멀티 에이전트 프레임워크인 LangGraph, CrewAI, AutoGen 세 가지를 철저하게 비교합니다. 각자의 설계 사상, 구체적인 구현 패턴, 장단점, 그리고 '이것을 모르면 빠지기 쉬운' 함정과 회피책까지 해설하여, 귀하의 프로젝트에 최적화된 프레임워크 선정 및 구현 지침을 제공합니다.

이 섹션에서는 AI 에이전트 개발에서 주요 프레임워크인 LangGraph, CrewAI, AutoGen의 개요와 각자의 설계 사상을 설명합니다.

AI 에이전트는 LLM(대규모 언어 모델)을 핵심으로 외부 도구나 기억 기능을 결합하여 자율적으로 태스크를 수행하는 시스템입니다. 특히 여러 에이전트가 협력하여 복잡한 문제 해결에 임하는 '멀티 에이전트 시스템'은 그 가능성 때문에 큰 주목을 받고 있습니다. 하지만 프레임워크마다 접근 방식이 크게 다르기 때문에, 적절한 선택이 프로젝트의 성패를 좌우합니다.

LangChain은 LLM 애플리케이션 개발의 데파크토 스탠다드(de facto standard)로 널리 인식되고 있습니다. 이 생태계에서 파생된 LangGraph는 특히 '사이클(루프)'이나 복잡한 조건 분기가 있는 워크플로우를 효율적으로 구축하도록 설계되었습니다.

LangGraph는 LangChain Expression Language (LCEL)을 확장하여 그래프 구조를 이용해 에이전트의 처리 흐름을 명시적으로 정의합니다. 노드(처리 단계)와 엣지(노드 간 전이)로 워크플로우를 시각적으로 표현할 수 있으며, 각 노드는 상태(데이터)를 공유하며 처리를 진행합니다.

이를 통해 다음과 같은 특징을 가집니다:

• 명시적 제어: 그래프 구조 덕분에 에이전트 간의 대화나 태스크 순서, 조건 분기를 코드로 명확하게 기술할 수 있습니다.
• 상태 관리: 노드 간에 상태를 공유하여 장기적인 대화나 복잡한 데이터 흐름을 관리하기 쉽습니다.
• 내결함성 (Fault Tolerance): RetryPolicy나 TimeoutPolicy와 같은 에러 핸들링 메커니즘을 노드에 직접 설정할 수 있어, 견고한 시스템 구축을 지원합니다.

LangGraph는 복잡한 RAG 시스템, 자율적인 의사 결정 프로세스, 장기간 실행되는 AI 에이전트 등 높은 제어와 상태 관리가 필요한 유즈케이스에 특히 적합합니다.

CrewAI는 여러 AI 에이전트에게 명확한 '역할(Role)'과 '목표(Goal)'를 부여하여 팀으로서 협력적으로 태스크를 수행시키는 데 특화된 Python 프레임워크입니다.

CrewAI는 에이전트를 인간 사회의 팀처럼 간주하여, 각자가 전문성을 가지고 협력해 태스크를 달성한다는 접근 방식을 취합니다. 주요 컴포넌트는 다음과 같습니다:

• Agent: 역할, 목표, 백스토리, 사용 도구, LLM을 가진 개별 AI 에이전트.
• Task: 에이전트에게 할당되는 구체적인 작업. expected_output으로 기대되는 출력을 명확하게 정의합니다.
• Crew: 여러 Agent와 Task를 모은 팀 전체.
• Flows: 조건 분기, 루프, 인간의 승인 등 복잡한 워크플로우를 선언적으로 정의하는 기능 (CrewAI v1.13.0에서 도입).

CrewAI는 신속한 프로토타이핑이나 역할 분담이 명확한 조사/분석/집필과 같은 비즈니스 프로세스 자동화에 강점을 발휘합니다. 직관적인 API와, 노코드(no-code)로 팀을 구축할 수 있는 'CrewAI AMP Studio'도 특징입니다.

AutoGen은 Microsoft가 개발한 프레임워크로, 여러 에이전트가 채팅을 통해 대화하며 문제 해결에 임하는 대화형 멀티 에이전트 시스템 구축에 특화되어 있습니다.

AutoGen은 에이전트 간의 '대화'를 가장 중요한 요소로 간주하여, 에이전트들이 상호 메시지를 주고받고 필요에 따라 코드를 실행/디버깅하면서 문제를 해결해 나가는 모델을 채택하고 있습니다.

• 비동기 이벤트 기반 (Asynchronous Event-Driven): v0.4에서 아키텍처가 크게 재설계되었으며, 비동기 처리와 액터 모델(Actor Model)을 기반으로 합니다. -
  Human-in-the-loop: 사람이 대화에 참여하여 에이전트의 행동을 지시하거나 수정할 수 있는 유연한 메커니즘을 제공합니다. -
  코드 생성 및 실행 (Code Generation and Execution): 에이전트가 Python 코드를 생성하고 이를 실행 환경에서 구동함으로써, 복잡한 프로그래밍 작업이나 데이터 분석 작업을 자율적으로 수행할 수 있습니다.

AutoGen은 프로그래밍 지원, 데이터 분석, 스크립트 생성 등, 에이전트가 코드를 생성하고 실행하며 시행착오를 겪는(trial and error) 작업에 매우 강력합니다.

이 섹션에서는 각 프레임워크의 구체적인 구현 방법을 코드 예제와 함께 설명합니다. 실제로 작동하는 코드를 통해 각 프레임워크의 API와 동작 방식을 이해해 봅시다.

LangChain은 에이전트 개발의 기반이 되는 프레임워크이며, RAG (Retrieval-Augmented Generation) 시스템 구축에 자주 활용됩니다. LangGraph는 LangChain 기능을 확장한 위치에 있습니다.

LangChain을 사용한 RAG의 기본적인 흐름과 LLM, 임베딩 모델(Embedding Model), 벡터 스토어(Vector Store) 간의 연동 방법을 이해할 수 있습니다.

from langchain_openai import OpenAIEmbeddings, ChatOpenAI
from langchain_community.vectorstores import FAISS
from langchain.chains import RetrievalQA
...

• OpenAIEmbeddings와 ChatOpenAI는 langchain_openai에서, FAISS는 langchain_community에서 임포트합니다. - RetrievalQA.from_chain_type으로 RAG 체인(Chain)을 구축하고, invoke 메서드로 실행합니다. - `chain_type=

그렇게 함으로써, research_task의 실행 결과가 write_article_task의 컨텍스트로 writer 에이전트에게 전달됩니다. -
Process.sequential는 태스크를 순서대로 실행하는 플로우를 정의합니다. manager_llm은 CrewAI v0.28 이후 필수입니다.

AutoGen의 가장 기본적인 구성 요소인 AssistantAgent와 UserProxyAgent를 사용하여, 코드 생성 및 실행을 수반하는 대화형 에이전트 시스템을 구축할 수 있습니다.

이를 통해 AutoGen에서 에이전트를 정의하는 방법, 채팅 시작 방법, 그리고 코드 실행 설정이나 종료 조건 설정 방법을 이해할 수 있습니다.

import asyncio
# AutoGen v0.4 이후의 새로운 임포트 경로
from autogen_agentchat.agents import AssistantAgent
...

• AutoGen v0.4 이후부터는 autogen_agentchat나 autogen_ext와 같은 새로운 패키지를 사용합니다. -
  AssistantAgent는 LLM을 기반으로 하는 에이전트이며, UserProxyAgent는 사용자 대리인으로서 다른 에이전트와 대화하거나 코드를 실행합니다. -
  `human_input_mode=

등)이 혼재되어 있거나, 또는 새 패키지 설치가 불완전한 경우. v0.4에서 패키지 구조가 크게 변경되었기 때문입니다. -
회피책:

• 클린 설치: 기존 패키지를 완전히 제거하고, 새로운 패키지만 깨끗하게 설치합니다. pip uninstall pyautogen autogen autogen-agentchat autogen-ext # 관련 패키지 모두 제거 pip install autogen-agentchat autogen-ext[openai] # 필요한 새 패키지 설치

• 올바른 임포트 경로: 코드 내에서 from autogen import ...가 아니라, from autogen_agentchat.agents import ...와 같이 올바른 패키지 이름으로 임포트해야 합니다. 공식 문서를 통해 최신 임포트 경로를 확인하는 것이 중요합니다.

멀티 에이전트 시스템에서 빈번하게 발생하는 '에이전트의 폭주(runaway)' 문제의 원인과, 이를 방지하기 위한 설계상의 고려점을 이해할 수 있습니다.

• 원인: 에이전트 간의 대화나 태스크의 종료 조건이 불명확한 경우, 무한 루프에 빠지거나 목적에서 벗어난 행동을 계속할 수 있습니다. 특히, 대화 기반의 AutoGen은 비결정적인(non-deterministic) 동작이 되기 쉬운 측면이 있습니다. -
  회피책:

• 명확한 종료 조건 정의: 각 태스크나 에이전트의 대화에 명확한 종료 조건을 설정합니다 (예: 특정 키워드의 출현, 최대 대화 횟수, 특정 출력 형식). AutoGen의 is_termination_msg나 CrewAI의 expected_output가 이에 해당합니다. -
  시스템 메시지를 통한 역할 명확화: 각 에이전트에게 명확한 역할, 목표, 책임을 시스템 메시지로 정의하고, 전문성에 따른 태스크 분담을 수행합니다. 이를 통해 에이전트가 자신의 범위 밖의 태스크에 개입하는 것을 막고, 효율적인 협조를 촉진합니다. -
  Human-in-the-loop (HITL): 중요한 의사결정 지점이나 예상치 못한 동작이 발생했을 때 인간이 개입할 수 있는 메커니즘을 도입합니다. CrewAI의 @human_feedback 데코레이터나 AutoGen의 human_input_mode 파라미터 등을 활용할 수 있습니다. 인간의 체크포인트를 설정함으로써, 폭주 위험을 대폭 줄일 수 있습니다. -
  LangGraph의 그래프 구조: LangGraph에서는 그래프 구조를 통해 처리 흐름을 명시적으로 제어할 수 있으므로, 의도하지 않은 루프를 방지하기 쉽습니다. 조건 분기나 루프의 종료 조건을 노드(node)로 명확하게 정의함으로써, 시스템의 동작을 예측하기 쉽게 만듭니다.

이 섹션에서는 각 프레임워크의 특성을 바탕으로 최적의 기술 선택을 위한 트레이드오프와, 멀티 에이전트 시스템 설계에서의 모범 사례를 설명합니다.

기술 선택에 있어 가장 중요한 것은 프로젝트의 요구사항과 팀의 스킬셋에 맞춘 트레이드오프 균형점을 파악하는 것입니다.

• LangGraph:

• 장점: 그래프 구조 덕분에 에이전트 간의 연계 및 상태 관리를 세밀하게 제어할 수 있어, 복잡한 워크플로우나 장기 실행 태스크에 적합합니다. 오류 처리도 노드 레벨에서 상세하게 설정 가능합니다. -

• 단점: 학습 곡선이 비교적 가파르고, 초기 개발 비용이 높을 수 있습니다. 복잡한 그래프의 설계와 디버깅에는 시간과 기술이 필요합니다. -
  적합한 유스케이스: 금융 거래 자동화, 복잡한 데이터 파이프라인, 자율형 RAG 에이전트 등, 견고성과 복잡한 상태 관리가 요구되는 시스템.

• CrewAI:

• 장점: 역할 기반의 직관적인 API 덕분에 신속한 프로토타이핑이 가능하고 개발이 용이합니다. 에이전트 간의 역할 분담이 명확하여 가독성이 높습니다. -

• 단점: 복잡한 로직이나 메모리의 일관성, 조건부 태스크 실행, 견고한 오류 처리가 필요한 경우, 프레임워크의 추상화가 걸림돌이 될 수 있습니다. -
  적합한 유스케이스: 마케팅 콘텐츠 생성, 시장 조사 리포트 작성, 고객 지원 자동화 등, 역할 분담이 명확하고 비즈니스 로직을 따르는 태스크 자동화.

⚠️ [IMG:N] 형식 토큰은 이미지 placeholder 입니다. 번역하지 말고 원래 위치에 그대로 유지하세요.

AutoGen:-
장점: 대화형 멀티 에이전트 시스템을 쉽게 구축할 수 있으며, 코드 생성 및 실행을 통한 문제 해결 능력이 매우 높습니다. Human-in-the-loop (HITL)의 통합도 용이합니다. -
단점: 비결정적인 동작을 하기 쉬워, 실제 환경에서의 안정성 확보를 위해서는 명확한 종료 조건이나 프롬프트 엔지니어링을 통한 세심한 제어가 필요합니다. v0.4에서 아키텍처가 크게 변경되었기 때문에, 마이그레이션 비용이나 학습 비용이 발생할 가능성도 있습니다. -
적합한 사용 사례: 프로그래밍 지원, 데이터 분석, 시뮬레이션, 소프트웨어 테스트 등 시행착오를 거치며 코드를 생성하고 실행하는 작업.

어떤 프레임워크를 선택하든, 다음의 베스트 프랙티스를 준수함으로써 더욱 견고하고 신뢰성 높은 AI 에이전트 시스템을 구축할 수 있습니다.

역할과 목표의 명확화: 각 에이전트에게 명확한 역할, 목표, 배경 스토리(backstory), 시스템 메시지를 부여하여 기대되는 행동을 유도하고 에이전트 간의 충돌을 줄입니다. 이는 인간 팀의 프로젝트 관리와 마찬가지로 중요합니다. -
도구 활용 (Tooling): LLM의 능력을 확장하기 위해 외부 API나 데이터베이스와 연동하는 도구를 적절하게 설계하고 이용합니다. 도구는 에이전트의 전문성을 보완하며, 현실 세계와의 상호작용을 가능하게 합니다. -
에러 핸들링 및 내결함성: 실제 환경에서는 API 타임아웃, LLM의 잘못된 출력, 도구 오류 등이 발생하므로, 재시도(retry), 타임아웃, 폴백 전략(fallback strategy), 에러 핸들러를 구현하여 견고한 시스템을 구축해야 합니다. LangGraph의 RetryPolicy나 error_handler, CrewAI의 태스크 실패 시 처리 등이 해당됩니다. -
Human-in-the-loop (HITL): 중요한 의사결정이나 예상치 못한 상황에서 인간이 개입할 수 있는 메커니즘을 도입하여, 에이전트의 폭주를 방지하고 신뢰성을 높입니다. CrewAI의 @human_feedback 데코레이터나 AutoGen의 human_input_mode 파라미터 등이 활용될 수 있습니다. -
상태 관리 최적화: LangGraph에서는 State의 비대화(肥大化)나 에러 전파를 막기 위해, 에러 정보를 State에 담아 중앙 노드에 집약하거나 복잡한 단계를 서브그래프(subgraph)로 만들어 캡슐화합니다. CrewAI나 AutoGen에서는 에이전트 간의 정보 공유를 최소화하고 필요한 정보만 전달하도록 설계하여, 컨텍스트 창 오버플로우나 불필요한 정보 전달을 방지합니다. -
프롬프트 엔지니어링: 에이전트에 대한 지시는 목표, 제약 조건, 행동 지침, 평가 기준, 예시를 구체적으로 정의하여 모호함을 줄입니다. 특히 출력 형식 지정은 후속 처리나 다른 에이전트와의 연계를 원활하게 하는 데 매우 중요합니다. -
구성 분리: CrewAI에서는 Agent와 Task의 정의를 YAML로 관리하여 설정과 로직을 분리함으로써 유지보수성과 확장성을 높일 수 있습니다. AutoGen Studio 같은 GUI 도구도 이 목적에 활용될 수 있습니다. -
관측 가능성 및 디버깅 (Observability): 에이전트 간의 상호작용이나 워크플로우를 추적하고 디버깅할 수 있는 내장 도구(LangSmith 등)나 OpenTelemetry 같은 업계 표준 관측 가능성을 지원하는 메커니즘을 도입합니다. AutoGen v0.4에서는 관측 가능성이 강화되었습니다.

본 기사에서는 LLM 에이전트 개발에 있어 주요 멀티 에이전트 프레임워크인 LangGraph, CrewAI, AutoGen을 비교하며, 각각의 특성, 구현 패턴, 장단점, 그리고 개발 시 흔히 겪는 문제점과 회피책을 설명했습니다.

LangGraph는 복잡한 워크플로우와 엄격한 상태 관리가 필요할 때 최적입니다. 그래프 구조를 통한 명시적인 제어와 내결함성이 강점입니다. -
CrewAI는 역할 기반의 직관적인 API로, 신속한 프로토타이핑이나 명확한 역할 분담이 필요한 비즈니스 프로세스 자동화에 탁월합니다. -
AutoGen은 대화형 에이전트와 코드 실행에 특화되어 있으며, 프로그래밍 지원이나 데이터 분석 등 시행착오를 수반하는 작업에서 진가를 발휘합니다.

어떤 프레임워크도 발전 과정에 있으며, 각각 다른 강점과 약점을 가지고 있습니다. 프로젝트의 요구사항, 팀의 스킬셋, 요구되는 제어의 세밀도를 고려하여 최적의 프레임워크를 선택하는 것이 성공의 열쇠가 됩니다.

다음 단계로, 각 공식 문서를 깊이 읽어보고 실제 프로젝트에서 프로토타이핑을 진행하는 것을 권장합니다. 특히 LangSmith와 같은 도구를 활용하여 에이전트의 동작을 시각화하고 디버깅하는 것은 개발 효율을 크게 향상시킬 것입니다.