REFLECT할 시간: 증거 기반 연구 에이전트를 위한 LLM 판사(LLM Judges)를 신뢰할 수 있는가?

심층 연구 에이전트(Deep research agents)는 다단계 추론(multi-step reasoning), 도구 사용(tool use), 그리고 종합(synthesis)을 통해 증거에 기반한 보고서를 생성하며 복잡한 정보 탐색 작업을 점점 더 자동화하고 있습니다. 이들의 역할이 커짐에 따라 확장 가능하고 신뢰할 수 있는 평가가 요구되고 있으며, 이에 따라 LLM을 판사로 사용하는 LLM-as-judge 방식이 사실적 정확성(factual accuracy), 증거 사용(evidence use), 그리고 추론 품질(reasoning quality)을 평가하기 위한 감독 패러다임으로 자리 잡고 있습니다. 그러나 심층 연구 에이전트를 위한 이러한 판사들의 신뢰성은 여전히 제대로 파악되지 않았으며, 이는 중요한 메타 평가(meta-evaluation) 문제를 제기합니다. 즉, 연구 에이전트를 감독하기 위해 LLM 판사를 배치하기 전에, 우리는 먼저 판사 자체를 평가해야 합니다. 기존의 메타 평가들은 두 가지 측면에서 한계를 보입니다: (1) 거칠고 주관적인 인간 선호도 일치(human-preference agreement)에 의존함; (2) 지시 이행(instruction-following) 또는 검증 가능한 작업에 집중하여, 개방형 에이전트 실행(open-ended agent executions)에 대한 탐색을 남겨둠. 이러한 격차를 해소하기 위해, 우리는 에이전트 환경에서의 세밀한 실패 탐지(fine-grained failure detection)를 목표로 하는 메타 평가 벤치마크인 REFLECT (REliable Fine-grained LLM judge Evaluation via Controlled inTervention)를 소개합니다. REFLECT는 품질 검증을 거친 에이전트 실행 흔적(execution traces)에 대해 통제되고 국소적인 개입(controlled and localized interventions)을 수행함으로써 구체화된 과정 및 결과 수준의 실패 모드(failure modes)에 대한 상세한 분류 체계(taxonomy)를 정의합니다. 이를 통해 판사 모델을 검증하기 위한 검증 가능하고 포괄적이며 세밀한 사례들을 생성합니다. 우리의 실험 결과에 따르면 현재의 LLM 판사들은 여전히 신뢰할 수 없는 상태입니다. 가장 성능이 좋은 모델조차 추론, 도구 사용, 보고서 품질 실패 전반에 걸쳐 55% 미만의 전체 정확도를 기록했으며, 특히 증거 검증(evidence verification)에서 매우 저조한 성능을 보였습니다. 종합적으로, 우리의 분류 체계와 연구 결과는 판사의 체계적인 한계를 드러내고, 비용과 신뢰성 사이의 트레이드오프(tradeoffs)를 밝히며, 심층 연구 에이전트를 위한 더 신뢰할 수 있는 평가 파이프라인을 구축하기 위한 실행 가능한 지침을 제공합니다.