LLM-as-judge 도구 비교: 문제는 어떤 도구가 점수를 매기느냐가 아니라, 어떤 도구를 신뢰할 수 있느냐이다

요약(TL;DR): 저는 주요 LLM-as-judge 도구들(DeepEval의 G-Eval, Confident AI, Evidently, Braintrust, Promptfoo, MLflow)을 점수가 실제로 의미가 있는지를 결정하는 기준, 즉 각 도구가 인간의 라벨(human labels)을 기준으로 판사(judge)를 검증(VALIDATE)하는 데 얼마나 도움이 되는지를 기준으로 비교했습니다. 인간과 대조하여 확인되지 않은 판사는 동일한 사각지대를 가진 또 다른 의견일 뿐이며, 대부분의 툴링은 판사를 실행하는 것은 쉽게 만들지만 판사가 당신의 의견과 일치한다는 것을 증명하는 것은 어렵게 만듭니다.

검증되지 않은 판사는 측정이 아니다

LLM-as-judge는 알려진 실패 모드(failure modes)가 있습니다: 위치 편향(position bias, 첫 번째 답변을 선호), 장황함 편향(verbosity bias, 더 긴 답변을 선호), 그리고 자기 선호(self-preference, 자신의 계열 모델을 선호)입니다. 검증 없이 실행하면 이 세 가지를 모두 조용히 물려받게 됩니다. 판사를 측정(measurement)으로 바꾸는 유일한 방법은, 실제 통계(단순히 "적절해 보인다"가 아닌 Cohen's kappa 등)를 사용하여 홀드아웃 세트(held-out set)에서 인간의 라벨과 얼마나 일치하는지 확인하는 것입니다. 따라서 저는 판사 도구들이 그 과정을 얼마나 도와주는지를 기준으로 도구들을 평가합니다.

검증을 얼마나 도와주는지에 따른 6가지 도구

DeepEval (G-Eval): 인기 있는 선택지입니다. G-Eval은 별도의 설정 없이도 사고 사슬(chain-of-thought) 기반의 판사 메트릭(judge metrics)과 pytest 스타일의 하네스(harness)를 제공합니다. 판사를 실행하는 데는 강력하지만, 인간 라벨과의 비교는 직접 수행해야 합니다.
Confident AI: DeepEval의 호스팅 레이어로, 실행 결과(runs)를 저장하고 공유하는 데 유용하지만, 검증 격차를 메우는 것은 여전히 사용자의 몫입니다.
Evidently: LLM-judge 기술자(descriptors)를 포함하여 리포트 스타일의 대시보드와 드리프트(drift) 분석에 강점이 있습니다. 모니터링 프레임워크를 원하는 경우에 적합합니다.
Braintrust: 실행 간에 판사의 출력을 나란히 비교할 수 있는 깔끔한 UI를 제공하며, 이는 kappa 계수를 자동으로 계산해주지는 않더라도 불일치 사항을 육안으로 확인하는 데 도움을 줍니다.
Promptfoo: 판사를 테스트 매트릭스(test matrix) 내의 어설션(assertion)으로 취급합니다. 가볍고 CI(지속적 통합) 친화적이지만, 판사 대 인간의 통계 기능은 부족합니다.
MLflow: 이미 MLflow를 트래킹 백본(tracking backbone)으로 사용 중이라면 적합합니다. 판사 메트릭(judge metrics)을 동일한 실행(runs) 및 레지스트리(registry)에 통합할 수 있습니다.

2026년 6월 현재, 이들 중 그 어떤 도구도 "판사(judge)와 나의 휴먼 레이블(human labels) 간의 일치도를 계산하고 혼동 행렬(confusion matrix)을 보여달라"는 요청을 클릭 한 번으로 처리하는 기본 기능으로 제공하지 않습니다. 그리고 이 단계야말로 판사를 신뢰할 수 있는지 실제로 결정하는 단계입니다. 당신은 여전히 이를 직접 연결해야 합니다.

내가 실제로 판사를 검증하는 방법

200개의 예시를 수동으로 레이블링(labeling)합니다. 동일한 200개에 대해 판사를 실행합니다. 단순 정확도(raw accuracy)가 아닌 코헨의 카파(Cohen's kappa, 우연을 보정한 일치도)를 계산합니다. 이 수치가 0.6 미만이라면 해당 판사는 준비되지 않은 것입니다. 혼동 행렬(confusion matrix)을 읽어 어떤 클래스를 혼동하는지 확인하고, 루브릭(rubric)을 수정한 뒤 다시 측정합니다. 오직 그 후에야 나는 레이블이 없는 나머지 데이터에 대해 판사를 신뢰합니다.

열린 질문 (Open question)

내 레이블에 대한 카파(Kappa) 값은 내 레이블이 옳다는 것을 전제로 합니다. 진정으로 주관적인 차원(도움이 되는 정도, 어조 등)에서는 주의 깊은 두 사람조차 의견이 일치하지 않으므로, 판사와 인간 간의 일치도 상한선은 인간과 인간 간의 일치도가 됩니다. 그리고 나는 이를 거의 측정하지 않습니다. 카파 값이 0.55라는 것이 나쁜 판사를 의미하는지, 아니면 줄일 수 없는 주관적인 작업임을 의미하는지 알 수 있는 깔끔한 방법이 제게는 없습니다. 만약 당신에게 방법이 있다면, 저는 그것을 읽어보고 싶습니다.