Large Language Model 품질 평가를 위한 희소 사용자 피드백 내 선택 편향(Selection Bias) 교정: 다중 에이전트

[요약] 실제 운영 중인 LLM (Large Language Model) 배포 환경은 무작위가 아닌 특정 비율의 사용자로부터 피드백을 받습니다. 만족도 분포의 양 끝단(tails)에 주로 피드백이 집중되며, 이를 단순히 평균 내는 방식은 실제 시스템 품질과 40-50%포인트의 차이를 보일 수 있습니다. 본 연구에서는 이를 주제(topic) 및 감성(sentiment)에 따라 계층화된 선택 편향 (selection-bias) 문제로 취급하며, 개별 상호작용에 대한 정답 레이블 (ground-truth labels) 없이도 작동하는 3-에이전트 계층적 베이지안 (hierarchical Bayesian) 파이프라인을 제안합니다. Topic Clustering Agent는 텍스트 임베딩 (text embeddings)에 대해 UMAP + HDBSCAN을 적용하여 스트림을 분할합니다. Bias Modeling Agent는 NUTS (No-U-Turn Sampler) 하에서 2단계 계층적 Beta-Binomial 모델을 적합시켜, 부분 풀링 (partial pooling)을 통해 주제별 선택률 $s_c$와 품질 $q_c$를 추론합니다. Synthesis Agent는 실제 주제 유병률 $\hat{π}_c = n_c/N$에 따라 $q_c$의 가중치를 재설정하여, 신뢰 구간 (credible interval)과 온라인 재보정 (online recalibration)을 위한 드리프트 신호가 포함된 편향 교정된 집계 사후 확률 (bias-corrected aggregate posterior) $\bar Q = \sum_c \hat{π}c q_c$를 보고합니다. 검증에는 주제 및 감성 의존적 선택 편향이 시뮬레이션된 UltraFeedback (보유 상호작용 $N=10,232$, 클러스터 $C=18$, $Q^\star=0.6249$)을 사용했습니다. 우리는 5가지 베이지안 변형 모델을 Naive 및 IPW (Inverse Probability Weighting) 베이스라인과 비교했습니다. 피드백 채널에 대한 약한 사전 확률 (mild prior) (레이블 없이도 운영 대시보드에서 읽을 수 있는 전형적인 긍정 피드백 비율 및 부정 대 긍정 비율)을 적용했을 때, Hierarchical-Informed 모델은 편향 비율이 1:1에서 30:1로 변하더라도 $Q^\star$와 4-13%포인트 이내의 차이를 유지했으며, $\kappa{\max}=10$인 50/50 무작위 시드 복제 실험에서 95% 신뢰 구간이 $Q^\star$를 포함했습니다. 채널 측 사전 확률 (channel-side priors)이 없을 경우, 모든 약한 사전 확률 변형 모델은 $Q^\star$에서 22-33%포인트 벗어납니다. 이는 클러스터별 충분 통계량 (sufficient statistics)이 동일하게 좋은 적합도를 가진 일변수 가족 (one-parameter family)을 허용하기 때문이며, (잠재 품질이 아닌) 편향 채널에 대한 사전 확률이 퇴화 (degeneracy) 문제를 해결하는 핵심 요소임을 보여줍니다.