Large Language Model 품질 평가를 위한 희소 사용자 피드백 내 선택 편향(Selection Bias) 교정: 다중 에이전트

요약

본 연구는 실제 LLM 배포 환경에서 발생하는 선택 편향(selection bias) 문제를 다루며, 사용자 피드백이 무작위가 아닌 특정 비율의 사용자에 집중되는 현상을 분석합니다. 이를 위해 주제 및 감성별로 계층화된 베이지안 파이프라인을 제안하여, 개별 정답 레이블 없이도 편향을 교정하고 시스템 품질을 추론할 수 있습니다. 이 3-에이전트 모델은 실제 데이터셋에서 높은 정확도를 보였으며, 특히 사전 확률(prior)의 도입이 편향 채널 문제를 해결하는 핵심임을 입증했습니다.

핵심 포인트

• LLM 피드백은 무작위가 아니며, 만족도 분포 양 끝단에 집중되는 선택 편향 문제가 발생한다.
• 제안된 3-에이전트 계층적 베이지안 파이프라인은 주제 및 감성별로 선택 편향을 모델링하여 시스템 품질($Q^ ext{star}$)을 추정한다.
• Topic Clustering Agent, Bias Modeling Agent, Synthesis Agent의 역할을 분리한 구조가 복잡한 피드백 데이터를 효과적으로 처리한다.
• 사전 확률(prior)은 클러스터별 충분 통계량이 동일할 때 발생하는 편향 채널 문제를 해결하는 데 필수적이다.