RECOM: 개방형 Reddit 질의응답을 위한 자동 평가 지표의 타당성 판별 트레이드오프 (Validity Discrimination

자동 평가 지표 (Automatic metrics)는 LLM이 생성한 텍스트를 평가하는 기본 방식이지만, 실제로는 두 가지 역할을 수행하도록 요구받고 있습니다. 즉, 진정한 콘텐츠 정렬 (content alignment)과 표면적인 우연성 (surface coincidence)을 구분하는 것 (타당성, validity), 그리고 더 나은 시스템과 더 나쁜 시스템을 구분하는 것 (판별력, discriminative power)입니다. 개방형이며 의견 중심적인 질의응답 (question answering)에서는 이 두 가지가 서로 충돌합니다. 우리는 RECOM (Reddit Evaluation for Correspondence of Models)을 소개합니다. 이는 15,000개의 r/AskReddit 질문(2025년 9월)으로 구성된 오염 없는 (contamination-free) 평가 데이터셋으로, 각 질문은 평가 대상이 되는 모든 모델의 학습 중단 시점 (training cutoff) 이후에 작성된 실제 커뮤니티 답변과 쌍을 이룹니다. 5개의 오픈 소스 LLM (7--10B)을 대상으로 모든 답변에 대해 점수를 매기고, 각 지표를 무작위 치환 노이즈 기저선 (random-derangement noise floor)과 결합하여 평가한 결과, 두 가지 역할을 모두 잘 수행하는 지표는 없다는 것을 발견했습니다. 코사인 유사도 (Cosine similarity)는 실제 답변과 무작위 답변을 구분하지만 (Cohen's $d \approx 2$), 5개의 모델을 순위 매기지는 못합니다 ($|d| < 0.1$). BERTScore 정밀도 (precision)는 모델의 순위를 매기는 것처럼 보이지만 (원시 $|d|$ 값이 최대 0.63), 응답 길이 (response length)를 통제하면 이 수치는 $|d| = 0.09$로 붕괴되며 타당성 또한 약합니다 ($d \approx 0.8$, 코사인의 $\approx 2$와 비교 시). 모든 지표가 동일한 출력값에 점수를 매기기 때문에, 이러한 타당성-판별력 트레이드오프 (validity--discrimination tradeoff)는 모델의 특성이 아니라 지표 자체의 특성이며, 우리는 이것이 표현 설계 (representation design)에서 기인한다고 주장합니다. 세 명의 독립적인 LLM 판사 (LLM judges) 또한 이러한 타당성 격차를 재현하였으며, 마찬가지로 5개의 모델을 약하게만 구분해냈습니다. 우리는 명시적인 무작위 베이스라인 기저선 (random-baseline floor)과 함께 두 축 모두에 대한 지표를 보고할 것을 권장합니다. RECOM은 https://anonymous.4open.science/r/recom-D4B0 에서 공개적으로 사용할 수 있습니다.