다회차 장기 계획(Multi-Turn Long-Horizon Planning)의 물리적 특성: 단일 및 다중 교사 온폴리시 에이전트

원문 발행 2026. 07. 28. 02:55원문 언어 영어AI 한국어 번역arXiv cs.AI 원문 보기

요약

파운데이션 모델 에이전트의 다회차 장기 계획 능력을 체계적으로 연구하기 위한 새로운 환경과 방법론을 제안합니다. 사전 학습, GRPO/OPD 사후 학습, 그리고 MOPD를 통한 능력 통합의 3단계 과정을 통해 계획 능력의 습득과 형성 과정을 분석합니다.

핵심 포인트

CoT 상태 전이 모델링을 통한 명시적 세계 모델 구축이 장기 일반화에 효과적임
차선책 궤적(suboptimal trajectories)은 에이전트의 성능을 심각하게 저하시킴
OPD는 GRPO보다 저품질 및 장기 설정에서 더 넓은 효과적 영역을 가짐
MOPD를 통해 공유된 계획 패턴을 학습함으로써 환경 간 일반화가 가능함

다회차 장기 계획(Multi-turn long-horizon planning)은 파운데이션 모델 에이전트(foundation model agents)에게 매우 중요하지만, 이를 근본적으로 어떻게 개선할지는 여전히 불분명합니다. 기존 모델들은 통제 불가능하고 불투명한 인터넷 데이터로 학습되기 때문에, 계획 능력이 어떻게 습득되고, 형성되며, 통합되는지 식별하기 어렵습니다. 이러한 과제를 해결하기 위해, 우리는 정밀한 제어를 가능하게 하는 통합되고 통제된 다회차 환경을 도입합니다. 이를 통해 세 가지 단계에 걸쳐 장기 계획을 체계적으로 연구할 수 있습니다. (1) 사전 학습(Pre-training) 중의 계획 능력 습득. 우리는 데이터 형식, 분포 및 품질을 연구합니다. CoT(Chain-of-Thought) 상태 전이 모델링을 통한 명시적인 세계 모델(world model) 구축은 더 강력한 장기 일반화(long-horizon generalization)를 이끌어냅니다. 원자적 기술(Atomic skills)만으로는 구성적 일반화(compositional generalization)에 불충분하지만, 약간의 장기 데이터는 효과가 있습니다. 또한, 차후 단계로 갈수록 오류가 증폭되기 때문에 차선책의 궤적(suboptimal trajectories)은 성능을 심각하게 저하시킵니다. (2) GRPO 및 OPD 사후 학습(Post-training)을 통한 계획 능력 형성. 우리는 상호 정보량(mutual information)을 통해 일반적인 계획 패턴과 작업 특화적 계획 지식을 구분합니다. 계획 패턴의 경우, 사후 학습의 세 가지 적용 영역인 불필요(unnecessary), 효과적(effective), 지원되지 않음(unsupported)을 식별합니다. OPD는 저품질 및 장기 설정에서 GRPO보다 더 넓은 효과적 영역을 가지는데, 이는 OPD가 더 일관된 업데이트 방향을 제공하기 때문입니다. 계획 지식의 경우, 서로 다른 지식을 가진 교사로부터 보지 못한 절차를 증류(distilling)하는 것은 새로운 지식을 완전히 확립하지 못한 채 학생의 기존 세계 모델링을 손상시킬 수 있습니다. (3) MOPD 사후 학습을 통한 계획 능력 통합. 우리는 다중 교사 온폴리시 증류(Multi-teacher on-policy distillation, MOPD)가 환경 전반에 걸쳐 공유된 계획 패턴으로 수렴함으로써 능력을 통합함을 보여줍니다. 호환 가능한 패턴은 환경 간 일반화를 가능하게 하고, 부분적으로 공유된 패턴은 지속 학습(continual learning)을 지원하며, 완전히 충돌하는 패턴은 심각한 간섭을 일으킵니다.

AI 자동 생성 콘텐츠

원문 바로가기

다회차 장기 계획(Multi-Turn Long-Horizon Planning)의 물리적 특성: 단일 및 다중 교사 온폴리시 에이전트

요약

핵심 포인트

댓글