언어가 전문가의 인상을 전달한다: 도구 기반 LLM 심사관이 전이 상담 품질 평가에서 우위를 점하고 도메인 내 훈련을 능가하다

상담 대화에서 의사소통 품질을 자동 평가하는 것은 데이터에 의해 병목 현상이 발생합니다. 전문가가 평가한 코퍼스는 작고 성장시키는 데 비용이 많이 듭니다. 우리는 세 가지 독일어 시뮬레이션 상담 코퍼스(일반 진료 의료 관련 두 개, 학교 관련 학부모-교사 한 개) 전반에 걸친 전문가의 종합 인상 예측의 도메인 간 전이를 연구했습니다 (총 $n=195$개의 전문가 평가 세션, 스케일 등가화 후 하나의 코퍼스). 다른 도메인에서 훈련하는 것이 도메인 내 훈련보다 우수합니다: 한 도메인을 제외한(leave-one-domain-out) 전이는 중첩된 Spearman $
ho= 0.54$를 달성하며, 이는 목표 도메인 내의 $ ext{0.48}$ 이하보다 높습니다. 이는 쌍을 이루는 세션 수준에서 $+0.15$의 격차이며, 훈련 세트 크기가 일치할 때도 $+0.12$로 유지되므로 단순히 데이터 볼륨만의 문제는 아닙니다. 결정적인 특징은 두 화자 스크립트를 읽는 소규모 오픈 가중치 LLM이 생성하는 세션 수준 구성체 점수이며, 이 구성체들은 전문가의 평가 도구에서 크게 파생되었습니다: 도구에서 파생된 배터리는 단일 심사관을 일반 대화 품질 대비 $0.32$에서 $0.41$로 끌어올리고, 세 모델 계열의 심사관들이 앙상블하면 언어만으로 $ ext{0.51}$에 도달하며, 비언어적-쌍방 블록은 이 샘플 크기에서는 노이즈와 분리할 수 없는 $+0.03$을 추가합니다. 또한 녹음 설정을 가격 책정했습니다: 하나의 코퍼스는 화자별 오디오가 손실되었고, 그중 $ ext{16%}$의 식별된 세그먼트가 잘못된 화자를 담고 있으며, 이를 복구하는 것은 거기서 $+0.07$만큼 가치가 있습니다. 실질적으로 달성 가능한 코퍼스 크기에서, 전문가의 종합 인상은 말로 표현되는 것과, 다른 의사소통 프로그램의 데이터에 의해 더 많이 전달됩니다.