대부분의 오픈 소스 RL 엔진은 시퀀스를 단순하게 패킹(pack)합니다: 프롬프트(prompt) + 응답(response)을 그룹 내의 모든 샘플에 대해 반복하는 방식입니다. 이는 짧은 프롬프트/긴 완성(completion) 워크로드에는 괜찮지만, 긴 프롬프트/짧은 완성 워크로드에는 비효율적입니다. G=8인 상황에서 1,000-토큰 프롬프트와 100-토큰 응답을 사용할 경우, 고유한 토큰은 1,800개뿐임에도 8,800개의 토큰을 처리하게 됩니다. 약 5배의 연산 낭비가 발생합니다.

해결책은 개념적으로 간단합니다: 프롬프트를 한 번만 계산한 다음, 그 뒤에 오는 모든 G개의 응답을 계산하는 것입니다. 이는 추론(inference) 시의 프리픽스 캐싱(prefix caching)과 유사하지만, 학습(training) 시에는 프롬프트를 통해 그래디언트(gradients)가 역전파되어야 하므로, 단순한 구현 방식으로는 인과적 어텐션(causal attention)이 깨지게 됩니다. 이를 올바르게 구현하기 위해서는 전체 어텐션(full attention) 레이어와 선형 어텐션(linear attention) 레이어에 대해 서로 다른 트릭이 필요했습니다.

댓글에 있는 블로그 포스트에서 이에 대해 자세히 읽어보실 수 있습니다.

Qwen3.5-4B 기준 수치:

• 16k 프롬프트 / 64 출력 → 7.5배

• 16k / 128 → 7.3배

• 16k / 1k → 5.4배

• 8k / 4k → 1.7배