AttnSR: 장기 지평선 에이전트형 강화학습을 위한 어텐션 단계 보상

요약

AttnSR은 장기 지평선 LLM 에이전트의 강화학습(RL) 성능을 향상시키는 단계별 보상 증강 방법입니다. 별도의 훈련된 모델이나 추가적인 롤아웃 없이, 학습 리플레이 중 정책 어텐션을 활용하여 초기 결정과 최종 결과 간의 관련성을 추정합니다. 이 방법을 통해 ALFWorld에서 성공률이 크게 개선되었으며 환경 상호작용 감소 효과도 입증했습니다.

핵심 포인트

• AttnSR은 정책 어텐션 그래프를 이용해 단계별 보상을 할당하는 방법입니다.
• 추가 모델이나 롤아웃 없이 학습 리플레이 과정에서 작동합니다.
• ALFWorld 평가 체크포인트 전반에 걸쳐 PPO 기준선보다 우수한 성능을 보였습니다.
• 최종 미사용 성공률을 91.2%에서 97.1%로 높였으며, 환경 상호작용은 29.9% 감소했습니다.