반올림이 발생하는 위치가 중요하다: 반올림 위치 정렬이 LLM 강화학습을 안정화시킨다

요약

LLM의 강화학습(RL)은 추론과 학습 간 구현상의 미세한 차이로 인해 불안정해질 수 있습니다. 본 연구는 전체 스택 정렬 대신, RoPE, SwiGLU 등 핵심 영역에서 반올림 위치를 정렬하는 방법을 제안했습니다. 이를 통해 BF16 기반 RL 훈련의 안정성을 확보하며, 기존 엔진 변경 없이 적용 가능함을 입증했습니다.

핵심 포인트

• LLM RL은 추론/학습 구현 차이로 인해 불안정해질 수 있음.
• 전체 스택 정렬 대신 핵심 영역의 반올림 위치만 정렬하는 것이 효과적임.
• RoPE, SwiGLU 등 중간값을 FP32로 유지하여 BF16 RL 훈련을 안정화함.
• 이 방법은 추론/학습 엔진 자체를 변경하지 않고 적용 가능함.