하나의 리파이너로 모두 열기: 강화학습 기반 쿼리 정제를 통한 추론 시간적 추론 소환

요약

본 논문은 대형 언어 모델(LLMs)이 모호한 인간의 질문과 구조화된 논리 사이의 불일치로 인해 잠재력을 충분히 발휘하지 못하는 문제를 해결하기 위해 ReQueR이라는 모듈러 프레임워크를 제안합니다. ReQueR은 강화학습(RL)을 사용하여 전용 리파이너 정책을 학습시켜 원시 쿼리를 명시적인 논리적 분해로 재작성하며, 이를 통해 동결된 LLMs의 추론 능력을 향상시킵니다. 특히, 이 프레임워크는 소수의 모델에서 학습된 단일 리파이너가 다양한 미지의 모델에 효과적으로 적용될 수 있는 '원-투-매니(one-to-many)' 패러다임을 제시하여 범용성을 크게 높였습니다.

핵심 포인트

• ReQueR은 강화학습을 활용하여 원시 쿼리를 논리적 분해로 재작성하는 리파이너 정책을 학습합니다.
• Adaptive Solver Hierarchy라는 커리큘럼 메커니즘을 도입하여 환경 난이도를 동적으로 조절함으로써 학습 안정성을 확보했습니다.
• 제안된 프레임워크는 다양한 아키텍처와 벤치마크에서 일관되고 높은 성능 향상을 입증했습니다.
• 가장 중요한 기여는 소수의 모델로 학습된 단일 리파이너가 다양한 미지의 LLM에 적용 가능한 '원-투-매니' 추론 시간적 정렬 패러다임을 제공한다는 점입니다.