SCPRM: 지식 그래프 질문 답변을 위한 스키마 인식 누적 과정 보상 모델

대형 언어 모델 (LLM) 은 복잡한 추론에 탁월하지만, 그 중간 단계를 평가하는 것은 여전히 어렵습니다. 과정 보상 모델 (Process Reward Model) 은 단계별 감독을 제공하지만, 잘못된 단계가 이후 올바른 단계로 상쇄되어 전체적으로 높은 보상을 부여하는 보상 위험 효과 (risk compensation effect) 를 겪는 경우가 많습니다. 이러한 문제는 특히 시작 엔티티와 종료 엔티티 사이에서 지식 그래프 (KG) 에 여러 경로가 존재할 수 있으며, 위험한 단계가 추론 경로를 무효화할 수 있는 지식 그래프 추론에서 더욱 악화됩니다. 이러한 한계는 의료 및 법률과 같은 위험 민감도 (risk-sensitive) 임무에서 문제가 됩니다.

이러한 문제를 해결하기 위해, 우리는 스키마 인식 누적 과정 보상 모델 (SCPRM: Schema-aware Cumulative Process Reward Model) 을 제안합니다. SCPRM 은 추론 접두사 (reasoning prefix) 를 조건으로 삼고, 쿼리에서 파싱된 암묵적 목표와 현재 추론 단계 사이의 스키마 거리 (schema distance) 를 통합하여 경로 탐색을 안내하는 누적 및 미래 보상을 제공합니다.

또한, 우리는 SCPRM 을 몬테카를로 트리 검색 (Monte Carlo Tree Search: MCTS) 에 통합하여 SCPRM-MCTS 로 지칭하며, 이를 통해 지식 그래프 (KG) 상의 다중 홉 추론 (multi-hop reasoning) 을 수행합니다. 의료 및 법률 KGQA 와 CWQ 에서 SCPRM-MCTS 는 강력한 베이스라인에 비해 Hits@k 성능을 평균 1.18% 개선하여, 더 정확하고 위험 민감한 추론 평가가 가능함을 입증했습니다.