FASE: 코드 품질을 위한 빠른 적응형 의미론적 엔트로피 (Fast Adaptive Semantic Entropy)
요약
멀티 에이전트 코드 생성의 신뢰성을 높이기 위해 불확실성을 정량화하는 새로운 지표인 FASE를 제안합니다. FASE는 그래프 이론을 활용하여 기존 LLM 기반 방식보다 훨씬 빠르고 정확하게 코드의 기능적 정확성을 근사합니다.
핵심 포인트
- FASE는 최소 신장 트리 기반의 새로운 의미론적 엔트로피 지표임
- 기존 LLM 기반 방식 대비 Spearman 상관계수 평균 25% 개선
- 기존 방식 대비 계산 오버헤드를 약 0.3% 수준으로 대폭 절감
- HumanEval 및 BigCodeBench 벤치마크를 통해 성능 입증
멀티 에이전트 코드 생성 (Multi-agent code generation)은 인간의 소프트웨어 엔지니어링 라이프사이클을 모방함으로써 자율 소프트웨어 개발을 위한 유망한 패러다임을 제공합니다. 그러나 시스템의 신뢰성은 LLM의 환각 (hallucinations) 및 상호작용하는 에이전트 간의 오류 전파로 인해 여전히 저해되고 있습니다. 의미론적 엔트로피 (semantic entropy)는 정답 (ground-truth) 없이도 불확실성을 정량화하는 원칙적인 방법을 제공하지만, 현재의 방법들은 종종 비용이 많이 드는 LLM 기반의 동등성 검사 (equivalence checks)에 의존합니다. 본 연구에서는 구조적 및 의미론적 비유사성 그래프 (structural and semantic dissimilarity graphs)의 최소 신장 트리 (minimum spanning tree)를 기반으로 기능적 정확성 (functional correctness)을 근사하는 새로운 지표인 FASE (Fast Adaptive Semantic Entropy)를 소개합니다. HumanEval 및 BigCodeBench에 대한 평가 결과, FASE는 LLM 함의 (LLM entailment) 기반의 최신 의미론적 엔트로피보다 성능이 뛰어남을 입증하였으며, Qwen3-Embedding-8B 모델을 사용할 때 정답 테스트 케이스의 Pass@1 대비 Spearman 상관계수 (Spearman correlation)에서 평균 25% 개선, ROCAUC 점수에서 19% 향상을 달성했습니다. 또한, FASE는 비용이 많이 드는 LLM 기반의 동등성 평가를 제거함으로써 무시할 수 있는 수준의 계산 오버헤드 (computational overhead)를 발생시키며, 기존의 의미론적 엔트로피 방식 실행 시간 비용의 약 0.3%만을 요구합니다. 이러한 결과는 FASE를 실제 멀티 에이전트 워크플로우에서 불확실성 정량화 (uncertainty quantification)를 최적화하기 위한 실용적이고 비용 효율적인 솔루션으로 자리매김하게 합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기