단일 프롬프트의 문제점

우리가 커리큘럼 제작 자동화를 처음 시작했을 때, 가장 당연한 선택은 Gemini에게 거대한 프롬프트를 던져 전체 레슨을 생성하도록 요청하는 것이었습니다.

그것은 작동했습니다 - 때때로 말이죠. 하지만 품질이 일관되지 않았습니다. 월요일에는 훌륭한 레슨이 나왔다가, 화요일에는 평범한 레슨이 나왔으며, 그 이유는 아무도 설명할 수 없었습니다.

근본적인 문제는 다음과 같습니다: 하나의 LLM (Large Language Model)이 모든 것을 수행하는 것은 한 명의 개발자가 디자인, 백엔드, QA (Quality Assurance), 그리고 배포를 동시에 처리하는 것과 같습니다. 결과물은 나오지만, 노이즈가 많습니다.

멀티 에이전트 솔루션

우리는 파이프라인을 각각 좁은 직무를 가진 네 개의 전문 에이전트로 분리했습니다:

1. Planner Agent (플래너 에이전트)
학습 목표를 받아 주제, 하위 주제, 학습 결과, 섹션당 예상 시간과 같은 구조화된 개요로 분해합니다. 아직 콘텐츠는 없으며, 오직 아키텍처(Architecture)만 구성합니다.

2. Writer Agent (라이터 에이전트)
섹션별로 개요를 전달받아 실제 콘텐츠를 작성합니다. 다른 섹션에 대한 가시성이 없으며, 이는 문맥(Context)이 아닌 구조를 통해 일관성을 강제합니다.

3. QA Agent (QA 에이전트)
원래의 학습 목표와 대조하여 전체 초안을 검토합니다. 공백, 중복, 그리고 콘텐츠가 목표에서 벗어난 부분을 표시합니다. 구조화된 diff (차이점)를 반환합니다.

4. Formatter Agent (포매터 에이전트)
승인된 콘텐츠를 받아 우리 LMS (Learning Management System)가 기대하는 정확한 형식(SCORM 메타데이터, 섹션 마커, 미디어 플레이스홀더 등)으로 출력합니다.

LangGraph를 사용하는 이유

LangGraph를 사용하면 흐름을 상태 머신 (State Machine)으로 정의할 수 있습니다. 각 에이전트는 노드 (Node)가 되며, 조건에 따라 분기할 수 있습니다. 만약 QA가 주요 문제를 발견하면 루프는 다시 Writer로 돌아갑니다. 통과하면 Formatter로 이동합니다.

이것은 선형적인 LangChain 파이프라인으로는 깔끔하게 수행할 수 없는 작업입니다.

from langgraph.graph import StateGraph

workflow = StateGraph(CurriculumState)  
workflow.add_node("planner", planner_agent)  
workflow.add_node("writer", writer_agent)  
workflow.add_node("qa", qa_agent)  
workflow.add_node("formatter", formatter_agent)

workflow.add_conditional_edges("qa", should_revise, {
"revise": "writer",
"approve": "formatter"
})
`

결과 (Results)

이 아키텍처 (Architecture)로 전환한 후:

• 콘텐츠 일관성 점수 (Content consistency score)가 6.8/10에서 8.5/10로 상승 (내부 루브릭 기준)
• 레슨당 평균 제작 시간이 약 40% 감소
• QA 수정 루프 (QA revision loops)가 평균 3회 이상에서 1.2회로 감소

핵심 통찰: 전문화 (Specialization)는 AI 에이전트 (AI agents)에게도 품질을 향상시킨다. 하나의 집중된 작업을 수행하는 모델이 단일 프롬프트 (Single prompt)에서 다섯 가지 작업을 수행하는 동일한 모델보다 더 뛰어난 성능을 발휘한다.

원문 게시지: mostafafathy.com