Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
의료 RAG 에이전트 학습 시 NLI 체크 모델의 출력 분포가 그래디언트 제공에 미치는 영향을 분석했습니다. 로그 확률 기반 점수는 신호 붕괴를 유발하는 반면, 보정된 분류기는 안정적인 학습을 지원함을 발견했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기의료 RAG (Retrieval-Augmented Generation)는 근거에 기반한 주장이 필요하므로, 주장 수준의 NLI (Natural Language Inference) 체크 모델을 검색 증강 RL (Reinforcement Learning)에 통합하는 것은 직관적입니다. extbf{우리는 학습 과정 중 체크 모델의 평가 정확도가 아니라, 체크 모델의 extit{출력 분포 (output distribution)}가 학습 가능한 그래디언트 (gradient)를 제공할지 여부를 결정한다는 것을 발견했습니다.} 우리는 네 가지의 별도 의료 QA 벤치마크에 대해, GRPO (Group Relative Policy Optimization)로 학습된 의료 RAG 에이전트 (Qwen2.5-7B를 사용하였으며, Qwen3-4B 및 Llama-3.1-8B로 재현) 내부에서 프로세스 보상 (process rewards)으로 사용되는 네 가지 NLI 체크 백엔드를 비교했습니다. 세 가지 진단 결과가 도출되었습니다. extbf{(i)} 신호 붕괴 (Signal collapse)는 로그 확률 (log-prob)에 특이적입니다: LLM의 로그 확률 점수는 주장의 97% 이상을 중립 (neutral)으로 판정하여 RL 그래디언트를 0으로 붕괴시키는 반면, 보정된 (calibrated) MedNLI 분류기는 동일한 쌍에 대해 비퇴화적 (non-degenerately)인 점수를 부여합니다. extbf{(ii)} 답변 품질 측면에서는 중간 정도의 신호가 강한 신호보다 더 낫습니다: 강력한 독점적 (proprietary) 체크 모델은 세 단계의 보상 해킹 (reward-hacking) 연쇄 반응 — 초단문 답변, 검색 회피, 언어 붕괴 — 을 유발합니다. 따라서 중간 정도의 신호를 가진 로컬 분류기가 더 높은 품질의 모델을 학습시킵니다 ( extbf{zero-shot 대비 BERTScore +12%, GPT 의존성 없음}). extbf{(iii)} 신호 강도는 정책 (policy)에 따라 달라집니다: 동일한 체크 모델이라도 한 정책에서는 중간 정도의 신호로 기록되지만, 다른 정책에서는 연쇄 반응의 종결 상태를 유발하지 않으면서 강한 신호로 기록됩니다. 우리는 이러한 현상들을 검증기-보상 (verifier-as-reward) 시스템의 경계 조건 (boundary conditions)으로 정의합니다.