Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
긴 문맥(long-context) LLM이 문제를 해결하는 대신 입력 텍스트를 무분별하게 복사하는 '반복적 복사' 문제를 분석하고, 이를 해결하기 위한 GEAR(Grounding Evidence-Aware Reward) 강화학습 기법을 제안합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기단계별 추론 흔적 (reasoning traces)을 생성하는 대규모 언어 모델 (LLMs)은 복잡한 작업에서 강력한 성능을 달성해 왔으며, 이를 긴 문맥 (long-context) 설정으로 확장하는 것이 중요한 최전선으로 떠오르고 있습니다. 그러나 우리는 이 영역에서 결정적인 실패 모드인 extit{반복적 복사 (repetitive copying)}를 식별했습니다. 이는 모델이 문제를 생산적으로 해결하기보다 입력값으로부터 텍스트를 광범위하게 복사하여 추론 흔적에 집어넣는 현상을 말합니다. 우리는 이러한 행동이 최첨단 긴 문맥 LLMs 전반에 걸쳐 만연하며, 문맥 길이가 길어질수록 심화된다는 것을 보여줍니다. 각 프롬프트를 작업 관련 핵심 근거 (key evidence)와 무관한 방해 문맥 (distractor context)으로 분리함으로써, 우리는 근본 원인이 불충분한 근거 제시 (grounding)에 있음을 추가로 보여줍니다. 즉, 모델은 프롬프트로부터 무분별하게 복사하며, 핵심 근거에 집중하지 못하는 모델일수록 오답을 낼 가능성이 훨씬 높습니다. 이러한 진단에 착안하여, 우리는 GEAR (Grounding Evidence-Aware Reward)를 제안합니다. 이는 핵심 근거와의 중첩에 대해서는 근거 보상 (grounding reward)을, 무관한 문맥과의 중첩에 대해서는 방해 페널티 (distractor penalty)를 부여하여 정확도 신호를 보강하는 보상 형성 (reward shaping) 방법입니다. 자연어 데이터에서 GEAR를 실행할 수 있도록, 우리는 임의의 문서로부터 근거가 주석 처리된 학습 데이터를 구축하는 자동화된 파이프라인을 개발했습니다. 우리는 다양한 모델 규모와 벤치마크에 대해 GEAR를 검증하였으며, 정확도 기반 보상을 사용하는 표준 강화학습 (RL) 대비 평균 최대 +4.6포인트의 일관된 개선을 보여주었습니다. 특히 문맥이 길어질수록 이득이 더 컸으며, 반복적 복사와 사고 길이 (thinking length) 또한 감소시켰습니다. 우리의 연구 결과는 긴 문맥 평가가 단순한 검색에서 복잡한 추론으로 이동함에 따라, 관련 근거에 대한 정확한 근거 제시 (grounding)가 여전히 상당한 개선 여지가 있는 필수적인 능력임을 시사합니다.