결론부터 말씀드리면, 「서브 에이전트(Sub-agent)는 약한 모델이어도 괜찮다」 입니다. (자세한 내용은 논문을 읽어보세요)

「뭐, 그럴 것 같네」라는 생각도 들지만, 이런 부분을 제대로 검증해 주는 논문은 귀중하기 때문에 아래와 같이 해설해 나가겠습니다.

주식회사 KnowledgeSense는 생성형 AI 및 RAG를 사용한 프로덕트를 엔터프라이즈 기업용으로 개발하는 스타트업입니다.

이 기사는 무엇인가

이 기사는 멀티 에이전트(Multi-agent) 환경에서 서브 에이전트에 얼마나 강력한 모델을 사용해야 하는가를 검증한 논문[1]을 일본어로 간단히 정리한 것입니다.

본론

대략적인 요약

서브 에이전트에는 약한 모델을 사용하더라도 정확도가 거의 떨어지지 않습니다. East China Normal University 연구팀에 의해 2026년 7월에 발표되었습니다.

전제로, 「Claude Code」나 「Codex」에는 「서브 에이전트」라는 메커니즘이 있습니다.

서브 에이전트란, 예를 들어 사용자가 "이 기업에 대해 조사해줘"라고 명령하면, "부모 에이전트(Parent Agent)"가 작은 태스크로 분해하고, 각각의 태스크는 여러 개의 "서브 에이전트(Sub-agent)"가 실행하는 구조를 말합니다.

보통 이런 경우, '부모'와 '서브'의 뒷단에 있는 LLM에는 같은 모델을 사용하는 경향이 있습니다. 하지만 그렇게 하면 토큰 소비도 많아집니다.[2]

이번 연구에서는 「서브 에이전트」만 약한 모델로 바꿔도 정확도에 차이가 나지 않음을 시사하고 있습니다.

문제 의식

멀티 에이전트형 AI 시스템에서는 서브 에이전트를 포함해 모두 「같은 AI 모델」이 이용되는 경우가 많습니다.

하지만 왠지 모르게, "하류(Downstream) 태스크는 약한 AI로도 충분하지 않을까?"라고 생각하는 분들도 많지 않을까요?

실제로 하류의 간단한 태스크까지 "강한 AI"를 사용해 버리면, 소비 토큰이 늘어나 비용 부담으로 이어집니다.

최근 AI 모델의 가격이 상당히 높아지고 있기 때문에, "약한 모델로 충분한 곳은 약한 모델을 사용한다"와 같은 「적재적소」 전략에 대한 니즈가 생겨나고 있습니다.

실험

이 논문에서는 **AI를 3가지 역할(분해 역할, 실행 역할, 답변 역할)**로 나누고 있습니다.

(답변 역할 모델은 Qwen3-32B로 고정)

비교한 것은 주로 다음 3가지 패턴입니다.

• 하나의 에이전트가 태스크 분해와 검색을 모두 수행
• 서브 에이전트를 Qwen3-1.7B로 고정하고, 부모 에이전트만 강력하게 설정
• 부모 에이전트를 DeepSeek-V4-Flash로 고정하고, 서브 에이전트만 강력하게 설정

단순하게 검색 태스크를 풀게 하여 정확도에 변화가 있는지 살펴봅니다.

결과

① 역할을 나누는 것만으로 정확도가 올라간다- 모든 모델 사이즈에서 정확도 향상 (Exact Match 기준 ~+8.6포인트)

② 부모 에이전트를 강력하게 하면 정확도가 크게 올라갔다- EM은 27.86에서 39.18까지 개선

• LLM Judge도 41.50에서 57.38까지 개선

③ 서브 에이전트를 강력하게 해도 정확도는 별로 변하지 않았다- EM의 개선은
약 2.6포인트

• EM의 개선은

왜 부모 에이전트가 더 중요한가

논문에서는 실제 실패 사례가 소개되어 있습니다.

질문은,

"Hugh Montgomerie의 친할머니는 누구인가?"

라는 것입니다.

이 질문에 답하기 위해서는,

• Hugh Montgomerie의 아버지는 누구인가
• 그 아버지의 어머니는 누구인가

라는 순서로 검색해야 합니다. (흔히 있는 RAG 질문입니다)

강력한 부모 에이전트는 이 2가지 태스크를 올바르게 분해했습니다. 그 이후의 검색은 1.7B의 작은 서브 에이전트로도 성공했습니다.

반면, 약한 부모 에이전트는 처음에,

"Hugh Montgomerie의 어머니는 누구인가?"

라는 잘못된 태스크를 만들었습니다.

(서브 에이전트는 그 질문에 대해 올바른 답을 내놓았지만,)

애초에 부모로부터 전달받은 태스크가 틀렸기 때문에 최종 답변은 오답이 되고 말았습니다.

즉, 서브 에이전트가 아무리 우수해도 부모의 지시가 틀리면 복구할 수 없다는 뜻입니다.

반대로 부모 에이전트가 올바르게 작은 태스크로 나누어 준다면, 검색을 실행하는 쪽에는 그렇게 복잡한 추론 능력이 필요하지 않습니다.

그렇다면 어떻게 해야 하는가

.

① 親 에이전트(Parent Agent)에는 강력한 모델, 서브 에이전트(Sub-agent)에는 약한 모델

→ 사용자의 질문을 이해하고 검색 태스크(Task)로 분해하는 부분이기 때문에, 이 부분을 약하게 만들면 정확도만 떨어질 뿐입니다.

② 서브 에이전트에는 작은 태스크를

→ 이 부분이 꽤 중요한 포인트인데, 부모로부터 전달받는 태스크를 작고 자기 완결적인(Self-contained) 형태로 만들 필요가 있습니다.

모호하고 복잡한 상태의 태스크를 그대로 약한 모델에 떠넘기는 것은 엄금입니다. 결국 수행하지 못한 채 끝나버리고 맙니다.

（③ 역할에 맞춰 추가 학습하기）

→ 이 논문에서는 서브 에이전트용 약한 모델을 SFT(Supervised Fine-Tuning)로 추가 학습하여 활용하고 있습니다. Fable급의 모델은 만들 수 없더라도, 태스크 특화된 작은 모델이라면 파인튜닝(Fine-tuning)의 가성비가 맞을지도 모릅니다.

요약

저희 회사는 평소 엔터프라이즈(Enterprise)용 AI 에이전트 개발을 하고 있습니다.

「멀티 에이전트(Multi-agent)」 메커니즘은 최근의 트렌드입니다. 다만, 제대로 이해하지 못한 채 「에이전트를 늘리면 더 똑똑해지겠지」라고 생각하는 분들도 많지 않을까 합니다.

하지만 무턱대고 에이전트를 난립시켜도 돈과 시간만 낭비될 뿐입니다. 최근 LLM(Large Language Model)의 가격 상승은 엄청나기 때문에, 당분간은 효율적으로 절약하면서 AI를 활용하는 것이 요구됩니다.

에이전트라고는 해도 결국 뒷단에서 움직이는 것은 LLM입니다. 내부 메커니즘을 더 깊이 이해함으로써, 가성비 좋고 정확도 높은 AI 활용을 해 나갑시다.

여러분이 업무에서 멀티 에이전트를 활용하실 때도 참고가 된다면 좋겠습니다. 앞으로도 AI 활용 정확도를 높이는 방법이나 연구에 대해 계속해서 글로 써 내려가려 합니다. 저희가 개발하고 있는 서비스는 이쪽입니다.

"The Bystander Effect in Multi-Agent Reasoning: Quantifying Cognitive Loafing in Collaborative Interactions", Shehata et al. ↩︎

예를 들어 「Claude Fable」과 같은 프론티어(Frontier) 모델은 요금도 매우 높기 때문에, 어떻게 하면 절약할 수 있을지 고민하는 사람들도 늘어나고 있습니다. ↩︎

Discussion