정확도를 넘어서: 다중 에이전트 LLM 파이프라인에서 분해(Decomposition)와 타입 지정 상태 품질 보증의 분리

다중 에이전트 LLM 파이프라인은 소프트웨어 엔지니어링 작업에서 성능 향상을 가져온 것으로 자주 평가받지만, 이러한 성능 향상이 에이전트 간의 타입 지정 계약(typed contract) 때문인지 아니면 분해(decomposition)가 가능하게 하는 전문화된 프롬프트 덕분인지는 명확하지 않습니다. 우리는 요구사항 공학(Requirements Engineering) 분야에서 이 귀속 문제(attribution problem)를 연구하며, 기능적 또는 비기능적 요구사항으로 분류하고 MoSCoW 방식으로 우선순위를 지정하는 세 가지 아키텍처를 비교했습니다: 단일 호출 기준선(single-call baseline); 파이프라인의 전문화된 프롬프트는 재사용하지만 검증되지 않은 중간 값을 전달하는 두 번 호출 변형(two-call variant); 그리고 Pydantic으로 검증된 타입 지정 상태를 가진 파이프라인입니다. 18개의 조건은 PROMISE NFR+ (625개 요구사항), 세 개의 로컬 호스팅 소규모 언어 모델, 그리고 두 가지 언어를 다룹니다. 기준선 대비 F1 점수 향상은 전문화된 프롬프트가 적용된 두 번 호출 변형에서 관찰되었으며(최대 +0.075), 반면 타입 지정 상태는 작은 차이(-0.003 ~ +0.013)를 추가하며, 이 차이는 여섯 가지 비교 중 하나에서 유의미합니다. 정확도를 넘어 볼 때, 타입 지정 파이프라인은 에이전트 경계에서 범위를 벗어난 모델 출력을 포함하는 반면, 검증되지 않은 변형은 나중에 실패하여 요구사항을 누락시키고, 또한 모델 간 MoSCoW 일관성에서 작고 재현 가능한 증가를 보이지만 그 원인을 우리의 설계로는 분리할 수 없습니다. 이 연구는 연관적(associative)입니다: 대조군이 프롬프트, 호출 횟수, 그리고 단계별 컨텍스트를 묶어 비교하며, 결과는 하나의 데이터셋에 대한 세 개의 7~8B 모델에서 나온 것입니다. 구현 및 복제 패키지는 Zenodo (https://doi.org/10.5281/zenodo.23380444)에 보관되어 있습니다.