모든 토큰이 동일하게 학습하지 않는다: 어텐션 엔트로피가 RL 추론의 이질적인 신호를 밝히다

요약

본 연구는 대규모 언어 모델(LLM)의 강화학습(RL) 기반 사후 훈련에서 토큰 수준의 학습 신호가 균일하지 않다는 점에 주목하며, 어텐션 엔트로피를 활용하여 이러한 이질성을 분석합니다. 어텐션 엔트로피는 각 응답 토큰이 문맥적 지원을 얼마나 집중적으로 받는지 측정하는 지표로, 이를 통해 RL 최적화 과정에서 구조적인 패턴을 발견할 수 있습니다. 연구 결과는 단순히 평균적인 학습 신호만으로는 추론 과정의 중요한 이질성을 놓칠 수 있음을 시사합니다.

핵심 포인트

• 어텐션 엔트로피를 사용하여 LLM의 토큰별 강화학습(RL) 신호의 이질성 분석이 가능함.
• 어텐션 엔트로피는 각 응답 토큰에 대한 문맥적 지원의 집중도 또는 분산도를 측정하는 지표임.
• RL 최적화 과정에서 어텐션 엔트로피를 통해 구조적인 패턴을 발견할 수 있음.
• 토큰 평균화된 학습 신호만으로는 추론 단계에서의 중요한 이질성을 간과할 위험이 있음.