이질적인 지식 충돌 상황에서 강건한 RAG를 위한 체제 인식 피어 전문화 (Regime-Aware Peer Specialization)

검색 증강 생성 (Retrieval-augmented generation, RAG)은 외부 문맥 (context)에 생성 과정을 근거하게 함으로써 언어 모델을 개선합니다. 그러나 검색된 문맥이 모델의 파라미터 지식 (parametric knowledge)과 충돌할 경우 취약해질 수 있습니다. 이러한 충돌은 신뢰할 수 있고 부분적으로 신뢰할 수 있는 증거부터 적대적 문맥 (adversarial context)에 이르기까지 신뢰성 스펙트럼 (reliability spectrum)에 걸쳐 나타납니다. 기존의 해결책들은 종종 이러한 이질적인 충돌을 체제 불가지론적 (regime-agnostic) 감독으로 처리하며, 이는 신뢰성 체제 전반에 걸쳐 호환되지 않는 학습 신호들을 혼동할 수 있습니다.

이러한 신호들을 분리하기 위해, 우리는 두 가지 상호 보완적인 입도 (granularities)에서 충돌을 해결하는 체제 인식 피어 전문화 (regime-aware peer specialization) 프레임워크인 RAPS-DA를 제안합니다. 샘플 수준 (sample level)에서, 충돌은 근거 설정 (Grounding), 중재 (Arbitration), 저항 (Resistance)을 포함한 세 가지 체제로 나뉘며, 공유된 베이스 모델 (base model)로부터 각 체제당 하나의 동일 규모 피어 전문가 (peer specialist)가 학습됩니다. 각 샘플은 이후 온-정책 역-KL (on-policy reverse-KL) 감독을 위해 해당 체제와 일치하는 피어로 하드 라우팅 (hard-routed)됩니다. 토큰 수준 (token level)에서, 이중 레이어 선택기 (dual-layer selector)는 교사 간 불일치 (inter-teacher disagreement), 학생-교사 발산 (student-teacher divergence), 그리고 학생 엔트로피 (student entropy)를 사용하여 정보가 없거나 불안정한 토큰을 필터링하고, 확신 있게 어긋난 토큰의 가중치를 높이며, 학생이 성숙함에 따라 고충돌 토큰에 대한 감독에 점진적으로 집중합니다.

이러한 이점은 더 강력한 교사로부터 오는 것이 아니라 고정된 모델 규모에서의 전문화에서 비롯되며, 피어 전문가들은 학습 중에만 존재하므로 배포된 학생 모델은 체제 라벨이나 피어에 대한 접근이 필요하지 않습니다. 다섯 가지 충돌 시나리오와 두 가지 분포 외 (out-of-distribution) 벤치마크에 대한 실험 결과, RAPS-DA는 모든 프롬프팅 (prompting), 디코딩 (decoding), 미세 조정 (fine-tuning), 강화학습 (RL) 및 단일 교사 베이스라인을 능가함을 보여줍니다.