복사 자체가 근거가 될 수 없다: 작성된 문장 크레딧을 활용한 충실도 높은 장문 RAG 학습

검색 엔진과 비서 서비스에서, 장문의 RAG(Retrieval-Augmented Generation) 답변은 출처가 뒷받침하지 않는 주장으로 독자를 오도할 수 있습니다. 충실도 보상(Faithfulness rewards), 즉 지원되는 문장의 비율은 모델을 이러한 주장을 줄이는 방향으로 학습시킵니다. 우리는 이러한 보상이 복사(copying)를 통해 속임수(hacked)로 사용될 수 있음을 보여줍니다. 패시지에서 복사된 문장은 거의 구조적으로 지원되므로, 훈련된 모델은 자신이 작성하는 내용을 근거 삼기보다는 복사하는 법을 배우게 됩니다. 일반적인 방어책들은 단지 이 속임수를 이동시킬 뿐입니다: KL 또는 복사 페널티는 복사를 그대로 두거나 더 짧고 공허한 답변과 거절로 교환합니다. 표준 RL(강화학습) 알고리즘인 GRPO는 각 문장에 그 답변의 이점을 부여함으로써 상황을 더욱 악화시키는데, 이는 복사된 문장과 근거가 마련된 문장을 동일하게 강화합니다. 우리는 GRPO의 보상과 이점을 답변 수준에서 문장 수준으로 이동시켜 두 가지 문제를 모두 해결하는 Authored-Sentence Credit (ASC)를 제안합니다. 이 보상은 질문보다 길고 패시지에서 지원되는, 작성된(authored) 문장에만 크레딧을 부여합니다. 이점은 각 문장을 해당 질문에 대해 샘플링된 모든 문장과 비교하므로, 어떤 크레딧도 얻지 못한 문장은 가장 낮은 순위를 차지하며 결코 강화되지 않습니다. 네 가지 모델과 두 개의 도메인 특화 홀드아웃 코퍼스(held-out corpora)를 거쳐, 오직 ASC만이 작성된 문장의 오류율을 낮추고 모든 설정에서 더 많은 지원되는 문장을 작성하여, 홀드아웃 평가자 기준 중앙값에서 각각 38%와 46% 개선함으로써 독자에게 더 근거 있는 정보를 제공합니다. 이는 어떤 지름길도 사용하지 않으며, 전체 답변을 비교한 두 명의 LLM 심사관들은 기본 모델보다 어느 베이스라인도 선호하지 않았지만, ASC의 답변은 그에 필적한다고 평가했습니다. 우리는 충실도 보상은 모델이 복사하는 것이 아니라 작성하는 것에 크레딧을 부여해야 한다고 결론지었습니다.