어떤 롤아웃이 그것을 가르쳤는가? BehaviorTrace와 온라인 RL에서 학습 데이터 귀속의 한계

요약

본 논문은 강화학습(RL)이 언어 모델에게 가르친 행동의 훈련 출처를 추적하는 문제에 대해 연구합니다. 'BehaviorTrace'라는 오픈 평가 하네스를 공개하고, 그래디언트 스케칭과 유창성 같은 다양한 방법론을 사용하여 온라인 RL 파인튜닝 과정에서 데이터 귀속의 한계를 탐구했습니다.

핵심 포인트

• 행동 출처 추적은 혼란 변수(confounds)에 의해 영향을 받을 수 있습니다.
• 그래디언트 크기만으로 행동 목표를 순위화하는 통제 방법이 높은 정확도를 보였습니다.
• 모델 유창성(fluency)은 기존 그래디언트 방법보다 우수한 행동 레이블 예측 능력을 보여주었습니다.
• 행동 귀속을 평가하기 위한 체크리스트와 가이드라인을 제시합니다.