Joint KL에서의 자기회귀 학습 (Autoregressive Learning in Joint KL): 정밀한 Oracle Bounds 및

요약

본 논문은 모델 오지정 하에서 결합 Kullback-Leibler (KL) 발산을 이용한 자기회귀 모델링 및 다음 토큰 예측 시 긴 시퀀스 학습 문제를 다룹니다. 연구 목표는 시퀀스 지평 $H$가 근사 오차와 추정 오차에 미치는 영향을 규명하는 것입니다. 분석 결과, 결합 KL 목적 함수는 계산 효율적인 방법들과 달리 지평에 무관한(horizon-free) 근사 계수를 허용함을 보였습니다. 또한, 정책 학습의 정보 이론적 하한은 $ ext{O}(H)$ 차수임을 증명했으며, 이는 기존 알고리즘의 상한과 일치합니다. 이러한 분석을 통해 로그 손실 훈련 목적 함수와 시퀀스 수준 평가 지표 간의 관계를 명확히 하고, 정책 학습 후회 경계에 대한 이론적 기반을 제시했습니다.

핵심 포인트

• 결합 KL 발산은 모델 오지정 하에서 자기회귀 모델링 및 다음 토큰 예측 문제를 다루는 핵심 측정 기준입니다.
• 결합 KL 목적 함수는 시퀀스 지평 $H$와 무관한 근사 계수를 허용하여, 기존의 계산 효율적인 방법들과 차별화됩니다.
• 정책 학습에 대한 정보 이론적 하한은 $ ext{O}(H)$ 차수임을 증명했으며, 이는 최신 알고리즘의 상한과 일치합니다.
• 본 연구는 로그 손실 훈련 목적 함수와 시퀀스 수준 평가 지표를 정렬하여 자기회귀 학습 분야의 이론적 이해도를 높였습니다.