기존의 LLM-as-judge 점수 산정 편향 연구는 주로 입력-출력 수준에서 이루어집니다. 즉, 입력을 교란시키고(perturb) 점수 변화량(score deltas)을 측정하며 프롬프트 수준의 완화 방안을 제안합니다. 우리는 이러한 편향이 심사관(judge)의 은닉 상태(hidden state) 내에서도 표현(representation) 수준의 설명이 가능하다는 것을 주장합니다. 이는 입력-출력 관점과는 상호 보완적이며, 그 관점이 제공하지 못하는 방식으로 작동적으로 유용합니다. 우리는 7개의 심사관, 7가지 편향 유형, 그리고 9개의 벤치마크에 걸쳐 세 가지 발견을 보고합니다.
기하학(Geometry): 기준선 심사 입력들은 조밀한 활성화 다양체(activation manifold)를 차지하는 반면, 편향된 입력들은 저차원적이고 유형 특이적인 부분 공간(subspace)을 따라 이동하며, 이 부분 공간은 깊이가 깊어질수록 날카로워지며 세 가지 추정기 계열(families of estimators)에 의해 일관되게 복구됩니다.
인과 제어(Causal control): 이 부분 공간을 따라 은닉 상태를 조향(steering)하는 것은 양방향으로 점수 산정을 유도합니다. 전진 이동(forward shifts)은 깨끗한 입력에서 편향된 점수를 재현하고, 역방향 이동(reverse shifts)은 편향된 입력에서 기준선 점수를 복원합니다. 반면, 매칭된 노름 무작위 방향(matched-norm random directions)은 한 자릿수(order of magnitude) 더 작은 변화를 만들어냅니다.
운용적 측면(Operational): 동일한 편향 방향 특징(bias-direction features)에 대한 간단한 선형 투영(linear projection)만으로도 완전히 새로운 벤치마크 세 곳에서 심사관의 실패를 예측할 수 있으며, 이는 텍스트 기반 대안들을 상당히 능가합니다.
읽기 편향을 입력-출력 노이즈로 보는 것이 아니라 활성화 기하학(activation geometry)으로 봄으로써, 우리는 기하학적 구조, 인과 제어, 그리고 운용적 예측을 단일한 프레임워크 내에서 통합할 수 있습니다. 프로젝트 페이지는 https://xzx34.github.io/unfair-judge/ 에서 확인할 수 있습니다.