RL 논문에서 프레임워크 코드로: 7개 오픈 소스 학습 프레임워크에서의 포함 및 검토

요약

본 연구는 7개의 오픈 소스 RL 트레이닝 프레임워크를 분석하여, 학술 논문에서 제안된 강화학습(RL) 방법론이 실제 프레임워크에 얼마나 자주 포함되는지 추적했습니다. 그 결과, 일반적인 RL 방법을 제안한 논문 중 약 3%만이 실제로 프레임워크에 구현되었으며, 특히 대규모 정책 매개변수나 손실 함수 수정과 관련된 방법들이 더 자주 채택됨을 발견했습니다.

핵심 포인트

• RL 연구 방법론의 실제 프레임워크 포함률은 매우 낮음 (약 3%).
• 대형 모델(>30B) 관련 방법이나 손실 함수 수정을 제안한 논문이 더 많이 구현됨.
• 프레임워크 기여 과정에서 공적으로 거부되는 방법은 거의 없음.
• 사용자들이 트레이닝 실패 사례를 공식적으로 보고하는 경우는 드묾.