GoLongRL: 멀티태스크 정렬을 통한 능력 중심의 롱 컨텍스트 강화학습 (Long Context Reinforcement Learning)

요약

GoLongRL은 검증 가능한 보상(RLVR)을 활용하여 롱 컨텍스트 능력을 강화하는 오픈 소스 기반의 사후 학습 레시피입니다. 9가지 작업 유형을 포괄하는 23K개의 능력 중심 데이터셋과 이질적인 멀티태스크 최적화를 위한 TMN-Reweight 알고리즘을 통해 기존 모델 대비 뛰어난 성능을 입증했습니다.

핵심 포인트

• 23K개의 RLVR 샘플 데이터셋과 전체 구축 파이프라인, 학습 코드를 완전 공개함
• 9가지 작업 유형의 분류 체계(Taxonomy)를 기반으로 실제 소스 문서와 합성 샘플을 결합한 데이터셋 구축
• TMN-Reweight를 통해 작업 간 보상 규모를 정렬하고 난이도 적응형 가중치를 부여하여 최적화 문제 해결
• 학습된 Qwen3-30B-A3B 모델이 DeepSeek-R1 및 Qwen3 대형 모델과 대등한 롱 컨텍스트 성능을 달성