장기 지평선 (Long-Horizon) 작업용 대형 언어 모델 (LLM) 훈련에 관한 연구: 지평선 길이의 경험적 분석

대형 언어 모델 (LLMs) 은 환경 상호작용의 확장된 시퀀스를 통해 작업을 해결하는 인터랙티브 에이전트로서 가능성을 보여주고 있습니다. 기존 작업은 주로 시스템 수준의 최적화나 알고리즘 개선에 집중해 왔지만, 훈련 동형을 형성하는 지평선 길이의 역할은 여전히 잘 이해되지 않았습니다. 본 연구에서는 제어된 작업 구성을 통해 지평선 길이를 체계적으로 경험적으로 분석합니다. 구체적으로, 에이전트가 동일한 결정 규칙과 추론 구조를 마주하지만 성공적인 완성을 위해 필요한 행동 시퀀스의 길이만 다른 제어된 작업을 구성했습니다. 우리의 결과는 지평선 길이의 증가가 단독으로 훈련 병목 현상을 유발하며, 탐사 (exploration) 어려움과 신용 할당 (credit assignment) 문제로 인해 심각한 훈련 불안정성을 초래함을 보여줍니다. 우리는 지평선 축소 (horizon reduction) 가 이 한계를 해결하는 핵심 원리임을 입증했습니다. 이는 훈련을 안정화하고 장기 지평선 작업에서 더 나은 성능을 달성합니다. 또한, 지평선 축소는 지평선 길이에 대한 더 강력한 일반화 (generalization) 와 관련이 있음을 발견했습니다. 즉, 축소된 지평선 하에 훈련된 모델은 추론 시 더 긴 지평선 변형에 대해 더 효과적으로 일반화하며, 이를 우리는 지평선 일반화 (horizon generalization) 라고 부릅니다.