생성 아키텍처가 멀티 에이전트 LLM 시스템의 코드 복잡도에 미치는 영향: HumanEval에 대한 쌍체 연구

대규모 언어 모델 (Large-language-model) 코드 생성은 단일 샷 프롬프팅 (single-shot prompting)에서 분석가 (analyst), 코더 (coder), 테스터 (tester), 디버거 (debugger) 파이프라인과 같은 멀티 에이전트 오케스트레이션 (multi-agent orchestrations)으로 전환되었으며, 거의 전적으로 기능적 정확성 (functional correctness)을 기준으로 평가됩니다. 이러한 아키텍처가 생성된 코드의 구조적 복잡도 (structural complexity)에도 영향을 미치는지, 그리고 어떤 오케스트레이션 계층 (orchestration layers)이 그 비용을 초래하는지는 여전히 상당 부분 조사되지 않은 상태입니다. 이전 연구들은 코드 복잡도에 미치는 프롬프트 수준 (prompt-level)의 효과를 기록했지만, 아키텍처 수준 (architecture-level)의 질문은 미해결 상태로 남아 있습니다. 본 연구에서는 GPT-4o 제품군 중 두 모델을 사용하여 164개의 모든 HumanEval 작업(1,968개의 쌍체 관측치)에 대해 6가지 널리 사용되는 멀티 에이전트 구성(Basic, AC, ACT, Debugger, AC+Debugger, ACT+Debugger)을 비교하였으며, 5가지 RADON 복잡도 지표(SLOC, 순환 복잡도 (cyclomatic complexity), Halstead Volume, Difficulty, Effort)를 사용했습니다. 우리는 모든 완성본 (all-completions) 조건과 통과된 결과물 전용 (passing-only) 조건 모두에서 쌍체 비모수 통계 파이프라인 (Friedman omnibus, Holm 교정을 적용한 Wilcoxon signed-rank post-hoc, Kendall's $W$ 및 매칭 쌍 순위-이중 상관 효과 크기 (matched-pairs rank-biserial effect sizes))을 적용했습니다. 6가지 아키텍처는 50-130%의 격차로 구분되는 두 개의 구별 불가능한 복잡도 클러스터 (complexity clusters)로 수렴되었으며, 이는 두 모델과 두 조건 모두에서 동일한 분할을 보였습니다. 아키텍처 계층 중에서는 분석가-코더 (analyst-coder) 분리가 복잡도를 팽창시키며, 런타임 디버거 (runtime debugger)는 그렇지 않고 분석가-코더 배경에서는 오히려 복잡도를 감소시키며, 테스터 (tester)는 다시 복잡도를 팽창시킵니다. 복잡도가 높은 클러스터의 추가적인 복잡도는 pass@1 이점을 제공하지 못하며, 가장 가벼운 아키텍처들이 정확도 면에서 가장 무거운 아키텍처와 대등하거나 더 나은 성능을 보였습니다. 따라서 LLM 코드 생성에서의 아키텍처 정교화는 당연하게 가정될 것이 아니라, 중요한 차원에서의 측정된 이점에 의해 정당화되어야 합니다.