LLM 관리형 멀티 에이전트 시스템에서의 반복적 감사 수렴: 프롬프트 엔지니어링 품질 보증에 관한 사례 연구

멀티 에이전트 대규모 언어 모델 (LLM) 시스템을 위한 프롬프트 사양 (Prompt specifications)은 많은 상호 의존적인 파일에 걸쳐 데이터 계약 (data contracts) 및 통합 로직을 포함하고 있지만, 구조화된 검사 (structured-inspection)의 엄격함을 거치는 경우는 드뭅니다. 본 논문은 AEGIS (Autonomous Engineering Governance and Intelligence System)에 적용된 에이전트 주도 반복 감사 (iterative, agent-driven auditing)에 대한 단일 시스템 실증 사례 연구를 보고합니다. AEGIS는 프롬프트 사양 표면이 약 7,150행으로 구성된 프로덕션 7-레인 오케스트레이션 파이프라인 (orchestration pipeline)입니다: 7개의 레인 PROMPT.md 파일에 걸친 6,907행과 245행의 공유 티켓 계약 (Ticket Contract)으로 구성됩니다. Weinberg와 Freedman의 방식을 변형한 체크리스트 기반 워크스루 (checklist-driven walkthrough)를 사용하여 Claude 서브 에이전트 (sub-agents)가 수행한 9회의 연속적인 감사 라운드 결과, 51개의 프롬프트 사양 일관성 결함 (consistency defects)이 발견되었습니다. 이는 동반 프리프린트 (companion preprint)에서 보고된 51개의 STRIDE 분류 적대적 코드 발견 사항과는 별개의 것입니다. 라운드별 결함 수는 15, 8, 12, 2, 8, 1, 4, 1, 0건이었습니다. 본 연구에서는 명시적인 코딩 규칙을 포함한 7가지 범주의 사후 결함 분류 체계 (post-hoc defect taxonomy), 연쇄적인 수정 및 감사 범위 확장과 일치하는 관찰된 비단조적 수렴 (non-monotonic convergence), 그리고 연구에서 추출된 감사 프로토콜을 보고하며, 최종 확정된 체크리스트는 재현성 부록으로 공개합니다. 단일 파일 검토로는 이 시스템의 후기 확장 범위 라운드에서만 드러난 결함 클래스들을 놓쳤습니다. 동일한 LLM 제품군이 사양을 작성하고 감사하였으므로, 일반화하기 전에는 서로 다른 모델 및 인간 검토자를 통한 복제 연구가 필요합니다.