GRASP: 상호작용 그래프에서의 결정론적 논거 순위 지정

요약

LLM-as-a-Judge 방식의 기존 총체적 판단(holistic judging)이 가진 불일치와 불안정성 문제를 해결하기 위해 새로운 프레임워크인 GRASP를 제안합니다. GRASP는 상호작용 그래프 내에서 국소적 판단을 전역적 순위로 집계하는 결정론적 방식을 사용하여, 논거의 수사적 호소력이 아닌 구조적 견고성을 측정합니다.

핵심 포인트

• 기존의 총체적 판단 방식은 복잡한 토론 구조를 단일 점수로 붕괴시켜 모델 간 불일치를 유발함
• GRASP는 공격-방어 전파 연산자를 통해 국소적 상호작용 판단을 전역적 순위로 변환하는 결정론적 프레임워크임
• GRASP는 설득력이나 사실성이 아닌, 상호작용 그래프 상의 논거 견고성인 '구조적 충분성'을 측정함
• 총체적 판단보다 국소적 상호작용 판단이 더 높은 재현성을 가지며, GRASP는 투명하고 감사 가능한 대안을 제공함