Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 외부 데이터 없이도 LLM이 자체적으로 장문맥 추론 능력을 향상시킬 수 있는 LongZero를 제안합니다. 기존의 RL 방식들이 비용과 데이터 부족 문제에 직면했던 것과 달리, LongZero는 모델 스스로 질문/답변을 구조화하고 이를 다중 문서 문맥으로 확장하는 다단계 추론 작업을 수행합니다. 실험 결과, LongZero가 다양한 장문맥 벤치마크에서 우수한 성능을 보여주었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기강화학습 (RL)은 대규모 언어 모델 (LLMs)의 장문맥 추론 능력을 강화하는 효과적인 방법이지만, 길고 다양하며 도전적이고 검증 가능한 훈련 데이터를 필요로 합니다. 이러한 데이터에 대한 인간의 주석 작업은 비용이 많이 들고, 자연적으로 발생하는 데이터는 RL을 지속하기에는 너무 부족하며, 기존의 합성 방법들은 외부 코퍼스나 더 강력한 교사 모델에 의존하는데, 이는 학습된 모델이 강해질수록 얻기가 더욱 어려워집니다. 최근에는 모델이 스스로 제안하는 작업으로부터 학습하는 '제로 데이터로부터의 RL' (RL from zero data)이 뛰어난 성능을 달성했지만, 기존 방법들은 짧은 문맥 작업을 목표로 합니다. 따라서 우리는 외부 데이터 없이 LLM이 자체적으로 장문맥 추론 능력을 향상시킬 수 있게 하는 $ extbf{LongZero}$를 제안합니다. LongZero는 기존 문서에 대해 질문과 답변을 작성하는 대신, 먼저 모델이 지원 증거와 함께 질문 및 답변을 간결한 구조화된 형태로 합성하게 하고, 그 후에만 증거를 긴 다중 문서 문맥으로 별도로 확장합니다. LongZero는 이러한 자체 작성형 다단계 추론 작업(self-written multi-hop reasoning tasks)과 자체 작성형 다회 검색 작업(self-written multi-round retrieval tasks)을 결합하여 모델을 GRPO로 훈련시킵니다. 우리는 다섯 가지 장문맥 추론 벤치마크에서 두 개의 LLM에 LongZero를 평가하고, 외부 코퍼스에서 합성된 데이터로 수행한 RL과 비교합니다. 실험 결과는 LongZero가 실제 작업으로 일반화될 수 있으며, 두 베이스라인보다 성능이 우수함을 보여주어, LLMs의 장문맥 추론 능력을 향상시키는 실현 가능하고 유망한 경로임을 시사합니다.