score centering과 masked importance sampling이 TRL의 async GRPO Trainer 기본값으로

요약

TRL의 async GRPO Trainer가 score centering과 masked importance sampling을 기본값으로 채택하여 학습 안정성을 높였습니다. 이는 정책 드리프트를 추정하고 제거하는 데 사용됩니다. 다만, vLLM과의 통합 과정에서 log-prob 처리로 인해 API 성능 저하 문제가 발생했으며, 이를 개선하기 위해 flat log-prob 전송 방식을 연구 중입니다.

핵심 포인트

• TRL GRPO Trainer가 score centering을 기본값으로 채택하여 안정성 향상.
• 정책 드리프트는 vLLM으로부터 top-k log-prob를 가져와 추정 및 제거함.
• vLLM API 통합 시 log-prob 처리가 성능 저하(약 3%)의 원인이 됨.
• 향후 vLLM과 협력하여 flat log-prob (패킹된 배열) 전송을 목표로 함.