HF 사이언스 팀이 비동기 RL 가중치 동기화의 대역폭 비용을 약 100배 절감했으며, 이제 공유 클러스터가 필요하지 않습니다.

요약

HF 사이언스 팀이 비동기 강화학습(RL) 시 발생하는 가중치 동기화 대역폭 비용을 약 100배 절감하는 기술을 개발했습니다. 변경된 요소만 희소 safetensors로 인코딩하여 전송함으로써, 고가의 공유 클러스터 없이도 분리형 학습이 가능해졌습니다.

핵심 포인트

• 비동기 RL 가중치 동기화 대역폭 비용 100배 절감
• sparse safetensors를 통한 변경된 요소만 전송
• 공유 클러스터, RDMA, VPN 없이 HTTPS와 Bucket만으로 학습 가능
• 분리형 학습(Disaggregated Training) 환경 구축 용이성 증대