정보 이득(Information Gain)을 통한 다회차 대화의 의미론적 진전 측정

다회차 대화(multi-turn dialogue)를 평가하는 것은 개별 응답 내에서가 아니라 여러 턴에 걸쳐 품질이 나타나기 때문에 매우 어렵습니다. 우리는 정보 탐색형 대화의 핵심 차원인 의미론적 진전(semantic progress)에 집중합니다. 이는 대화 과정에서 질문과 관련이 있고 중복되지 않는 새로운 정보가 축적되는 것으로 정의됩니다. 우리는 의미론적 진전을 질문 조건부 불확실성 감소(question-conditioned uncertainty reduction)로 공식화하고, 임베딩 공간(embedding space)에서 이를 근사하는 정보 이론적 지표(information-theoretic metric)를 도입합니다. 우리의 주요 추정기(estimator)는 폐쇄형 업데이트(closed-form updates)가 가능한 다루기 쉬운 가우시안 공식(Gaussian formulation)을 사용하며, 상호 보완적인 최대 엔트로피(maximum-entropy) 논거는 2차 임베딩 정보(second-order embedding information)만 유지될 때 왜 로그-행렬식(log-determinant) 구조가 더 광범위하게 발생하는지를 보여줍니다. 이 공식은 단조성(monotonicity), 대화 턴에 따른 총 정보 이득의 가산적 분해(additive decomposition), 중복된 증거에 대한 수확 체감(diminishing returns)을 포함한 바람직한 이론적 특성을 제공합니다. LLM-as-a-judge 방식과 달리, 우리의 지표는 평가 시 자기회귀 추론(autoregressive inference)을 필요로 하지 않으며 고정된 임베딩 모델에 대해 완전히 재현 가능합니다. MT-Bench, Chatbot Arena, UltraFeedback에 대한 실험 결과, 제안된 지표는 의미론적 진전만을 목표로 함에도 불구하고 인간의 판단과 경쟁력 있는 일치도를 보였으며, 여러 LLM 기반 판정기(judges)와 비교했을 때 MT-Bench 및 UltraFeedback에서 개선된 정렬(alignment)을 보여주었습니다. 특히, 이 방법은 CPU 전용 실행 환경에서 경량 임베딩 모델을 사용하더라도 효과적으로 작동하며, 이는 대규모 모델의 용량에 의존하지 않고도 의미론적 진전을 포착할 수 있음을 나타냅니다.