FADE: 온라인 RLVR 스케줄링을 위한 요인화된 능력-난이도 필터링

요약

본 논문은 온라인 RLVR 스케줄링 과정에서 발생하는 능력과 난이도 추적의 문제를 해결하기 위해 FADE(Factored Ability--Difficulty Estimation)를 제안합니다. FADE는 쌍선형 상태 공간 필터로, 각 프롬프트의 성공 로짓을 정규화된 스킬 로딩과 정책 능력 벡터의 내적으로 표현하여 두 시간 척도를 분리 추적합니다. 이를 통해 다운스트림 정확도와 보정(calibration)을 개선하며 효율적인 결과 도출이 가능함을 입증했습니다.

핵심 포인트

• FADE는 쌍선형 상태 공간 필터로 능력과 난이도를 독립적으로 요인화하여 추적합니다.
• Pólya–Gamma 증강 및 rank-$K$ Woodbury 단계를 통해 $K$차원 능력 사후 분포를 폐쇄형으로 업데이트합니다.
• FADE는 추가적인 계산 비용 없이 다운스트림 정확도와 보정 성능을 꾸준히 개선합니다.