MIRA: 소스 인지적 데이터 선택을 위한 중간 학습 루브릭 앵커링 (Mid-training Rubric Anchoring)

요약

MIRA는 LLM 중간 학습 단계에서 이질적인 데이터 소스에 최적화된 데이터 선택을 위해 제안된 프레임워크입니다. 자기 앵커링 루브릭 발견 기술을 통해 소스별 맞춤형 기준을 설정하고, 이를 학생 스코어러로 증류하여 확장성을 확보합니다. 실험 결과, 코드 중심 학습에서 데이터 사용량을 절반으로 줄이면서도 뛰어난 성능을 입증했습니다.

핵심 포인트

• 소스 인지적 필터링을 통한 맞춤형 데이터 선택 프레임워크 제안
• 자기 앵커링 루브릭 발견 및 학생 스코어러 증류 기술 활용
• 데이터 효율성 극대화: 토큰 50% 사용 시에도 전체 코퍼스 수준 성능 달성
• 9개 코드 벤치마크에서 기존 선택 베이스라인 대비 우수한 성능 확인