RL 학습을 위한 프롬프트 캐싱 (Prompt Caching) - 긴 프롬프트/짧은 응답 워크로드에서 7.5배 속도 향상

요약

본 기사는 RL 학습 환경에서 발생하는 비효율적인 토큰 처리 방식을 지적하며, 특히 긴 프롬프트와 짧은 응답을 사용하는 워크로드에서 심각한 연산 낭비가 발생함을 설명합니다. 해결책으로 프롬프트를 한 번만 계산하고 이후의 모든 응답을 순차적으로 계산하는 '프롬프트 캐싱' 기법을 제안하며, 이를 학습 과정에 적용하기 위해 인과적 어텐션(causal attention) 문제를 해결할 수 있는 복잡한 구현 방법을 제시합니다. 실제 테스트 결과, 이 기법은 특정 워크로드에서 최대 7.5배의 속도 향상을 보여줍니다.

핵심 포인트

• 기존 RL 엔진은 프롬프트와 응답을 반복적으로 패킹하여 긴 프롬프트/짧은 응답 워크로드에서 연산 비효율성을 초래합니다.
• 제안된 '프롬프트 캐싱' 기법은 프롬프트를 한 번만 계산하고 이후의 모든 응답을 순차적으로 처리하여 연산을 최적화합니다.
• 학습 과정에 이 기법을 적용하기 위해서는 인과적 어텐션(causal attention) 문제를 해결하는 복잡한 구현 트릭이 필요했습니다.
• 실제 테스트 결과, 16k 프롬프트/64 출력 워크로드에서 최대 7.5배의 속도 향상을 달성할 수 있었습니다.