SkillScaffold: 정책 적응형 스킬 크레딧 할당 및 선택적 주입을 통한 에이전트 강화학습 (RL)의 비계 제공

에이전트 강화학습 (Agentic reinforcement learning, RL)은 대규모 언어 모델 (LLMs)이 검증 가능한 결과와 함께 다중 턴 상호작용으로부터 학습할 수 있게 합니다. 텍스트 기반 스킬은 이전 상호작용을 재사용 가능한 가이드로 증류하여 탐색(exploration) 능력을 향상시킬 수 있습니다. 하지만 기존의 스킬 기반 RL 접근 방식들은 종종 스킬 주입이 유익하다고 가정하거나, 그 효용성을 평가하기 위해 간접적인 피드백이나 많은 롤아웃 (rollout)-집약적 평가에 의존하는 경향이 있습니다. 저희의 예비 연구에 따르면, 스킬 크레딧 할당을 위한 롤아웃 기반 효용성 추정은 제한된 샘플링 조건에서 비용이 많이 들고 불안정하며, 스킬의 이점은 후보군마다 다르고 각 쿼리에 대한 현재 정책의 역량에 따라 달라집니다. 이러한 문제들을 해결하기 위해, 저희는 저비용 스킬 효용성 추정과 선택적 스킬 주입을 결합한 정책 적응형 학습 비계(scaffold)인 SkillScaffold를 소개합니다. 결과가 검증된 훈련 궤적을 재사용함으로써, SkillScaffold는 후보 스킬들을 생성하고, 후보별 환경 롤아웃 없이 결과 인지적 가능도 비교(outcome-aware likelihood comparisons)를 통해 그 효용성을 추정합니다. 이렇게 얻은 효용성 지표가 어떤 스킬을 주입할지, 그리고 어느 스킬을 주입할지를 결정하며, 아무런 후보도 도움이 되지 않는다고 판단되면 스킬 없이 실행하는 것을 유지합니다. 공동 훈련(Joint training)은 Generator가 진화하는 Executor에 맞춰진 스킬을 생성하도록 합니다. Scaffolded RL은 스킬 없는 추론(skill-free inference)을 위해 스킬의 내재화(internalization)를 장려합니다. ALFWorld, WebShop, ScienceWorld 및 $ au^2$-Bench에서의 실험은 단기 및 장기 지평선 작업 모두에서 강력한 에이전트 RL 및 스킬 기반 RL 기준 모델 대비 성능 향상을 입증했습니다. 제거 분석(Ablations)과 추가 분석들은 효용성 기반 선택과 포기(abstention)의 중요성을 뒷받침합니다. 저희 코드는 https://github.com/Vaidurya00/SkillScaffold에서 이용 가능합니다.