Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 LLM 에이전트 훈련의 한계인 환경 구축 및 상호작용 의존성을 극복하기 위해 Step-Advantage Policy Distillation (SAPD)을 제안합니다. SAPD는 오프라인 궤적에서 상대적 스텝 이점을 활용하여 온-정책 증류를 수행함으로써, 새로운 환경이나 실시간 상호작용 없이도 정책 개선이 가능하게 합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델 (LLM) 에이전트의 훈련을 확장하려면 일반적으로 대량의 실행 가능한 환경이 필요하며, 이러한 환경의 구축, 유지보수 및 운영은 훈련 경험 확장을 제약합니다. 기존의 오프라인 궤적(offline trajectories)은 상호작용 경험을 재사용할 기회를 제공하지만, 이 환경들을 다시 방문하지 않고 현재 정책을 효과적으로 개선하는 것은 여전히 어렵습니다. 지도 미세 조정 (SFT)은 치명적인 망각(catastrophic forgetting)을 초래할 수 있으며, 온라인 강화 학습 (RL)은 실시간 환경 상호작용을 요구합니다. 이러한 문제를 해결하기 위해, 우리는 상대적 스텝 이점(relative step advantages)을 사용하여 오프라인 궤적으로부터 학습하는 방법인 Step-Advantage Policy Distillation (SAPD)을 제안합니다. SAPD는 다중 턴 궤적을 개별 결정 컨텍스트로 분해하여 온-정책 증류(on-policy distillation)를 수행할 수 있게 하며, 학생 모델이 기록된 이력을 조건으로 응답을 생성하도록 합니다. 또한, 상대적 스텝 이점 신호(relative step advantage signals)를 도입하여 훈련을 안정화합니다. 전체 과정은 새로운 환경 관측이나 추가적인 다중 턴 상호작용을 요구하지 않습니다. ALFWorld, WebShop, 그리고 검색 기반 QA에 대한 실험 결과는 SAPD가 다양한 교사 (teacher) 구성에서 성능을 향상시키고, SFT와 비교하여 치명적인 망각을 완화하며, 온라인 OPD보다 트레이닝 스텝당 최소 $4.7 imes$ 빠르게 작동함을 보여줍니다. 곧 코드를 공개할 예정입니다.