멀티 에이전트 프로그래밍에서의 대화 패턴 이해: Fibonacci 게임 개발 사례 연구

대규모 언어 모델 (LLMs)이 소프트웨어 공학 (SE) 분야에 점점 더 많이 적용되고 있지만, 자율적이고 역할 중심적인 협업에 대한 잠재력은 여전히 충분히 탐구되지 않은 상태로 남아 있습니다. 단순히 에이전트들이 상호작용하도록 허용하는 것이 반드시 정확하거나 안정적인 결과로 이어지지는 않기 때문에, 여러 LLM 기반 에이전트들이 어떻게 조정하고, 역할 정렬 (role alignment)을 유지하며, 해결책으로 수렴하는지를 이해하는 것은 소프트웨어 공학 (SE)에서 매우 중요합니다. 최근의 실증적 연구들에 따르면, 구조화되지 않았거나 제대로 이해되지 않은 상호작용 역학은 오류 전파 (error propagation), 잘못된 해결책에 대한 조기 합의, 또는 상호작용 초기에 올바른 부분 해결책이 존재함에도 불구하고 수렴을 방해하는 장기적인 의견 불일기를 초래할 수 있습니다. 이 미개척 분야를 다루기 위한 첫 단계로서, 본 연구에서는 7개의 오픈 소스 LLM (Gemma 2, Gemma 3, LLaMA 3.2, LLaMA 3.3, DeepSeek-R1, MiniCPM, Qwen3)에서 추출한 12가지 모델 조합을 통해 Designer와 Programmer라는 두 에이전트 간의 대화를 체계적으로 분석합니다. 우리의 체계적인 접근 방식은 멀티 에이전트 상호작용의 세 가지 핵심 차원을 밝혀냅니다: 효율성 (efficiency, 수렴의 속도와 안정성), 일관성 (consistency, BLEU 및 ROUGE로 시각화된 역할 정렬의 정도), 그리고 효과성 (effectiveness, 컴파일 성공 및 오류 해결의 범위). 결과에 따르면, DeepSeek-R1:DeepSeek-R1 쌍은 첫 번째 반복 (iteration)부터 올바른 해결책으로 수렴하고 이를 마지막 반복까지 일관되게 유지했다는 점에서 독보적이었습니다. 반면 LLaMA 3.2:LLaMA 3.2 및 Qwen3:Qwen3는 올바른 해결책에서 벗어났음에도 불구하고 강력한 Designer:Programmer 역할 정렬을 보여주었습니다. 다른 쌍들은 과업에서 벗어나 결과에 결코 수렴하지 못했습니다. 이러한 발견은 에이전트 기반 프로그래밍 (agentic programming)에 대한 이해를 증진시키며, 향후 자율적인 소프트웨어 공학 (SE)에 필수적인 수렴 및 중단 조건 (stop conditions)을 이해하고 보정하기 위한 추가 연구의 필요성을 강조합니다.