판단 회로(Judge Circuits): LLM의 출력 형식 변화에 따른 평가 불일치 메커니즘 분석

요약

LLM-as-a-judge 패러다임에서 출력 형식의 변화가 평가 결과의 불일치를 유발하는 내부 메커니즘을 분석한 연구입니다. PEAP 기법을 통해 Gemma-3, Qwen2.5, Llama-3 모델 내에서 판단을 담당하는 공통된 '잠재 평가자(Latent Evaluator)' 서브 그래프를 발견했습니다. 연구 결과, 모델은 공유된 계산 경로를 통해 판단 신호를 생성하지만, 이를 출력 형식에 맞게 매핑하는 과정에서 형식 특화적인 브랜치가 개입하여 불일치가 발생함을 밝혀냈습니다.

핵심 포인트

• 출력 형식(척도 vs 레이블)의 변화가 LLM의 평가 점수에 체계적인 불일치를 유발함
• Gemma-3, Qwen2.5, Llama-3 등 다양한 모델에서 판단을 담당하는 공통된 MLP 서브 그래프 존재 확인
• 해당 서브 그래프를 제거(zero-ablating)할 경우 세계 지식은 유지되나 판단 능력만 선택적으로 상실됨
• 판단 신호는 공유된 트렁크에서 생성되나, 형식 특화적인 터미널 브랜치를 통해 출력 형식으로 매핑됨
• 현재의 벤치마크 신뢰도 비교가 평가 품질이 아닌 포맷터 기하학(formatter geometry)에 영향을 받을 수 있음