정보 이득(Information Gain)을 통한 다회차 대화의 의미론적 진전 측정

요약

다회차 대화의 품질을 평가하기 위해 정보 이론을 기반으로 '의미론적 진전'을 측정하는 새로운 지표를 제안합니다. 임베딩 공간에서의 불확실성 감소를 통해 대화의 정보 축적을 계산하며, 기존 LLM 기반 평가 방식보다 효율적이고 재현 가능합니다.

핵심 포인트

• 정보 이득을 활용한 다회차 대화의 의미론적 진전 측정법 제안
• 가우시안 공식을 통한 임베딩 공간에서의 불확실성 감소 근사
• 자기회귀 추론 없이 고정된 임베딩 모델로 재현 가능한 평가 가능
• MT-Bench 등 주요 벤치마크에서 인간의 판단 및 LLM 판정기와 높은 일치도 확인
• 경량 임베딩 모델 사용 시에도 CPU 환경에서 효과적으로 작동