Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
충실한 질의응답을 위해 설계된 소형 언어 모델(SLM) 제품군인 OCC-RAG를 소개합니다. 대규모 합성 데이터 파이프라인을 통해 멀티홉 추론과 문맥 충실도를 극대화하여, 작은 규모로도 거대 모델을 능가하는 성능을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기언어 모델 (Language Models) 개발의 최근 진전은 규모 (Scale)에 의해 정의되어 왔으며, 각 세대는 더 많은 세상의 지식을 가중치 (Weights)에 흡수해 왔습니다. 그러나 많은 실질적인 응용 분야에서는 방대한 파라미터 지식 (Parametric Knowledge)보다 강력한 추론 (Reasoning)으로부터 더 많은 이득을 얻습니다. 이러한 환경에서, 작업 특화형 소형 언어 모델 (Small Language Models, SLMs)은 원칙적인 설계 선택지를 제공합니다. 우리는 이러한 전제를 바탕으로 구축된 SLM 제품군인 Optimal Cognitive Core (OCC)를 소개합니다. OCC의 변형으로서, 우리는 제공된 문맥 (Context)에 기반한 충실한 질의응답 (Question Answering, QA)에 최적화된 OCC-RAG를 제시합니다. 이 작업은 암기된 지식을 무시하면서 제공된 지문들에 대해 멀티홉 추론 (Multi-hop Reasoning)을 요구하며, 이는 OCC의 설계 방식과 직접적으로 일치합니다. OCC-RAG를 훈련하기 위해, 우리는 대규모의 멀티 컨텍스트, 멀티홉 QA 데이터를 합성하기 위한 새로운 파이프라인을 구현하여, 멀티홉 추론, 엄격한 문맥 충실도 (Context Faithfulness), 그리고 교정된 기권 (Calibrated Abstention)을 목표로 하는 300만 개 이상의 예시 코퍼스 (Corpus)를 생성했습니다. 우리는 이 코퍼스로 중간 단계 학습 (Mid-trained)을 거친 OCC-RAG-0.6B와 OCC-RAG-1.7B를 공개합니다. 이 모델들은 문맥의 문자 그대로의 인용구 (Literal Quotes)에 기반한 출처 인용 (Source Citations)을 포함하는 구조화된 추론 흔적 (Reasoning Traces)을 생성합니다. OCC-RAG를 통해, 우리는 컴팩트하고 작업에 특화된 SLM이 멀티홉 추론 (HotpotQA, MuSiQue, TAT-QA), 충실도 (ConFiQA), 그리고 거절 (MuSiQue-Un) 벤치마크 전반에 걸쳐 자신보다 2~6배 큰 범용 모델 (General-purpose Models)과 대등하거나 이를 능가할 수 있음을 입증합니다.