GRASP: 상호작용 그래프에서의 결정론적 논거 순위 지정

대규모 언어 모델 (Large language models)은 논거 (arguments)의 강도를 평가하기 위한 자동화된 판사로서 점점 더 많이 배치되고 있습니다. 이러한 역할이 확장됨에 따라, 모델의 정당성은 일관성, 투명성, 그리고 논증 구조 (argumentative structure)를 수사적 호소력 (rhetorical appeal)으로부터 분리하는 능력에 달려 있습니다. 그러나 우리는 모델이 토론에 대해 전역적인 판결을 내리는 일반적인 LLM-as-a-Judge 관행인 총체적 판단 (holistic judging)이 상당한 모델 간 불일치를 겪는다는 것을 보여줍니다. 우리는 이러한 불안정성이 토론의 복잡한 상호작용 구조 (interaction structure)를 하나의 불투명한 점수로 붕괴시키기 때문에 발생한다고 주장합니다. 이를 해결하기 위해, 우리는 수렴하는 공격-방어 전파 연산자 (attack--defense propagation operator)를 통해 안정적인 국소적 상호작용 판단 (local interaction judgments)을 전역적 순위 (global ranking)로 집계하는 결정론적 프레임워크인 GRASP (Gradual Ranking with Attacks and Support Propagation)를 제안합니다. 우리는 LLM-as-a-Judge 평가에서 국소적 상호작용 판단이 총체적 순위보다 더 재현 가능하다는 것을 보여주며, 이를 통해 GRASP가 더 일관된 전역적 순위를 생성할 수 있음을 입증합니다. 나아가 우리는 GRASP 점수가 인간의 "설득력 (convincingness)" 라벨과 상관관계가 없음을 보여주며, 중요한 사회기술적 (sociotechnical) 차이를 강조합니다. 즉, GRASP는 설득력, 사실성, 또는 수사적 호소력을 측정하는 것이 아니라, 명시적인 상호작용 그래프 (interaction graph) 상에서의 논거 견고성 (argument robustness)에 대한 방어 인지적 개념인 구조적 충분성 (structural sufficiency)을 측정합니다. 종합적으로, GRASP는 총체적인 LLM 판단에 대한 투명하고 감사 가능한 대안을 제공합니다.