대규모 오디오-언어 모델 (Large Audio-Language Models, LALMs)은 생성된 음성을 자동 평가하기 위한 판사 모델 (judge models)로 널리 사용되어 왔습니다. 그러나 기존의 접근 방식은 주로 전체적인 자연스러움 (holistic naturalness)에 집중되어 있어, 세밀한 준언어적 (paralinguistic) 차이를 탐구하는 데에는 미흡했습니다. 우리는 스타일 (Style), 속도 (Rate), 강조 (Emphasis), 연령 (Age), 성별 (Gender)의 다섯 가지 준언어적 차원에 걸쳐 5,175개의 오디오 쌍으로 구성된 쌍체 벤치마크 (pairwise benchmark)인 ParaPairAudioBench를 소개합니다. 실험 결과, 현재의 LALM 판사들은 인간의 판단에 비해 평균 32%p 뒤처져 있으며, 특히 정답이 기권(abstain)이어야 하는 무승부 (Tie) 사례에서 심각한 보정 실패 (calibration failures)를 보임을 확인했습니다. 어휘적 의존성 (lexical reliance) 대 음향적 의존성 (acoustic reliance)을 심층 분석하기 위해, 본 벤치마크는 동일 대본 (same-transcript) 및 교차 대본 (cross-transcript) 조건을 모두 포함합니다. ParaPairAudioBench는 준언어적 음성 평가를 위한 LALM-as-a-Judge의 신뢰성에 대해 다차원적이고 보정 인지적인 (calibration-aware) 평가를 가능하게 합니다.