무엇이 의료 체크 모델을 학습 가능하게 만드는가? 생물 의학 QA를 위한 체크 가이드 RAG에서의 신호 붕괴(Signal Collapse) 및

의료 RAG (Retrieval-Augmented Generation)는 근거에 기반한 주장이 필요하므로, 주장 수준의 NLI (Natural Language Inference) 체크 모델을 검색 증강 RL (Reinforcement Learning)에 통합하는 것은 직관적입니다. extbf{우리는 학습 과정 중 체크 모델의 평가 정확도가 아니라, 체크 모델의 extit{출력 분포 (output distribution)}가 학습 가능한 그래디언트 (gradient)를 제공할지 여부를 결정한다는 것을 발견했습니다.} 우리는 네 가지의 별도 의료 QA 벤치마크에 대해, GRPO (Group Relative Policy Optimization)로 학습된 의료 RAG 에이전트 (Qwen2.5-7B를 사용하였으며, Qwen3-4B 및 Llama-3.1-8B로 재현) 내부에서 프로세스 보상 (process rewards)으로 사용되는 네 가지 NLI 체크 백엔드를 비교했습니다. 세 가지 진단 결과가 도출되었습니다. extbf{(i)} 신호 붕괴 (Signal collapse)는 로그 확률 (log-prob)에 특이적입니다: LLM의 로그 확률 점수는 주장의 97% 이상을 중립 (neutral)으로 판정하여 RL 그래디언트를 0으로 붕괴시키는 반면, 보정된 (calibrated) MedNLI 분류기는 동일한 쌍에 대해 비퇴화적 (non-degenerately)인 점수를 부여합니다. extbf{(ii)} 답변 품질 측면에서는 중간 정도의 신호가 강한 신호보다 더 낫습니다: 강력한 독점적 (proprietary) 체크 모델은 세 단계의 보상 해킹 (reward-hacking) 연쇄 반응 — 초단문 답변, 검색 회피, 언어 붕괴 — 을 유발합니다. 따라서 중간 정도의 신호를 가진 로컬 분류기가 더 높은 품질의 모델을 학습시킵니다 ( extbf{zero-shot 대비 BERTScore +12%, GPT 의존성 없음}). extbf{(iii)} 신호 강도는 정책 (policy)에 따라 달라집니다: 동일한 체크 모델이라도 한 정책에서는 중간 정도의 신호로 기록되지만, 다른 정책에서는 연쇄 반응의 종결 상태를 유발하지 않으면서 강한 신호로 기록됩니다. 우리는 이러한 현상들을 검증기-보상 (verifier-as-reward) 시스템의 경계 조건 (boundary conditions)으로 정의합니다.