Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
UA-ChatDev는 멀티 에이전트 소프트웨어 개발 과정에서 발생하는 환각 전파 문제를 해결하기 위해 불확실성 인지 기능을 통합한 프레임워크입니다. 토큰 수준 로그 확률을 통해 에이전트의 응답 신뢰도를 평가하고, 불확실성이 높을 경우 검증 과정을 트리거하여 소프트웨어 품질을 높입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기소프트웨어 개발은 다양한 역할을 가진 에이전트 간의 협력이 요구되는 복잡한 작업입니다. 대규모 언어 모델 (LLMs)은 역할 기반 협업을 활용하여 요구사항 분석, 코딩, 테스트 및 개선을 자동화하는 자율형 멀티 에이전트 소프트웨어 개발 프레임워크를 가능하게 했습니다. 그러나 기존 방식들은 일반적으로 중간 에이전트의 출력이 동일하게 신뢰할 수 있다고 가정하며, 이로 인해 초기 개발 단계에서 생성된 잘못된 결정이 하위 에이전트로 전달되어 최종 소프트웨어 품질에 부정적인 영향을 미치는 환각 전파 (hallucination propagation) 문제에 취약합니다. 이러한 문제를 해결하기 위해, 우리는 에이전트 상호작용에 불확실성 정량화 (uncertainty quantification)를 통합한 불확실성 인지형 멀티 에이전트 소프트웨어 개발 프레임워크인 UA-ChatDev를 제안합니다. 이 프레임워크는 에이전트 응답의 신뢰도를 평가하기 위해 토큰 수준 로그 확률 (token-level log probabilities)에 기반한 경량 불확실성 추정 메커니즘을 도입하며, 불확실성이 허용 가능한 수준을 초과할 때 검색 기반 검증 (retrieval-based verification)을 선택적으로 트리거하는 단계별 임계값 보정 (phase-aware threshold calibration)을 사용합니다. SRDD 벤치마크에 대한 광범위한 실험 결과, UA-ChatDev는 완성도, 실행 가능성, 일관성 및 전반적인 품질 지표에 걸쳐 기존의 싱글 에이전트 및 멀티 에이전트 소프트웨어 개발 프레임워크보다 일관되게 뛰어난 성능을 보여주었습니다. 추가적인 어블레이션 연구 (ablation studies) 및 통신 분석을 통해 불확실성 인지 상호작용이 코드 실행 신뢰성을 향상시킨다는 것을 확인했습니다.