보편적인 절벽과 설계 지문: LLM 오케스트레이션 하에서의 교차 섹션 결함 탐지

요약

LLM 오케스트레이션 환경에서 에이전트들이 요청을 분할 처리할 때 발생하는 '교차 섹션 결함' 탐지 능력이 급격히 저하되는 현상을 연구했습니다. 모델의 규모 확장이나 추론 능력 강화로도 해결되지 않는 구조적 절벽과 정렬(Alignment) 방식에 따른 허위 경보 발생 패턴을 분석했습니다.

핵심 포인트

• 오케스트레이션 시 교차 섹션 결함 탐지율이 2/3 이상 급락하는 '보편적 탐지 절벽' 발견
• 모델 규모 확장 및 확장된 추론(Extended reasoning)으로도 해결 불가능한 구조적 문제
• 정렬(Alignment) 강화 시 결함 탐지는 늘지만 허위 경보(False alarms)가 증가하는 트레이드오프 발생
• 자동화된 판정기(Automated judge)의 낮은 정밀도와 신뢰성 한계 지적