요약

ByteDance Seed는 작은 모델의 강화학습(RL) 탐색을 밀집된 암묵적 보상으로 재사용하는 Direct-OPD 기법을 제안합니다. 이 방법을 통해 Qwen3-1.7B와 같은 소형 모델도 적은 자원으로 높은 성능 향상을 달성할 수 있음을 보여줍니다.

핵심 포인트

• Direct-OPD는 RL 탐색 결과를 암묵적 보상으로 재사용하는 기법입니다.
• 소규모 모델을 활용하여 효율적인 지식 전이 및 성능 개선이 가능합니다.
• A100 GPU 8개와 단 4시간 만에 상당한 성능 향상을 입증했습니다.