OCC-RAG: 충실한 질의응답을 위한 최적의 인지 코어

언어 모델 (Language Models) 개발의 최근 진전은 규모 (Scale)에 의해 정의되어 왔으며, 각 세대는 더 많은 세상의 지식을 가중치 (Weights)에 흡수해 왔습니다. 그러나 많은 실질적인 응용 분야에서는 방대한 파라미터 지식 (Parametric Knowledge)보다 강력한 추론 (Reasoning)으로부터 더 많은 이득을 얻습니다. 이러한 환경에서, 작업 특화형 소형 언어 모델 (Small Language Models, SLMs)은 원칙적인 설계 선택지를 제공합니다. 우리는 이러한 전제를 바탕으로 구축된 SLM 제품군인 Optimal Cognitive Core (OCC)를 소개합니다. OCC의 변형으로서, 우리는 제공된 문맥 (Context)에 기반한 충실한 질의응답 (Question Answering, QA)에 최적화된 OCC-RAG를 제시합니다. 이 작업은 암기된 지식을 무시하면서 제공된 지문들에 대해 멀티홉 추론 (Multi-hop Reasoning)을 요구하며, 이는 OCC의 설계 방식과 직접적으로 일치합니다. OCC-RAG를 훈련하기 위해, 우리는 대규모의 멀티 컨텍스트, 멀티홉 QA 데이터를 합성하기 위한 새로운 파이프라인을 구현하여, 멀티홉 추론, 엄격한 문맥 충실도 (Context Faithfulness), 그리고 교정된 기권 (Calibrated Abstention)을 목표로 하는 300만 개 이상의 예시 코퍼스 (Corpus)를 생성했습니다. 우리는 이 코퍼스로 중간 단계 학습 (Mid-trained)을 거친 OCC-RAG-0.6B와 OCC-RAG-1.7B를 공개합니다. 이 모델들은 문맥의 문자 그대로의 인용구 (Literal Quotes)에 기반한 출처 인용 (Source Citations)을 포함하는 구조화된 추론 흔적 (Reasoning Traces)을 생성합니다. OCC-RAG를 통해, 우리는 컴팩트하고 작업에 특화된 SLM이 멀티홉 추론 (HotpotQA, MuSiQue, TAT-QA), 충실도 (ConFiQA), 그리고 거절 (MuSiQue-Un) 벤치마크 전반에 걸쳐 자신보다 2~6배 큰 범용 모델 (General-purpose Models)과 대등하거나 이를 능가할 수 있음을 입증합니다.