SkillOS: Learning Skill Curation for Self-Evolving Agents

요약

SkillOS는 LLM 기반 에이전트가 과거 경험으로부터 재사용 가능한 스킬을 학습하고 큐레이션하여 자기 진화를 할 수 있도록 설계된 새로운 프레임워크입니다. 기존 방법들이 직면했던 간접적이고 지연된 피드백을 통한 장기적인 스킬 큐레이션 정책 학습의 어려움을 해결합니다. SkillOS는 고정된 에이전트 실행기와 누적 경험을 바탕으로 외부 스킬 저장소(SkillRepo)를 업데이트하는 훈련 가능한 스킬 큐레이터를 결합하여, 복합 보상을 통해 효과적으로 스킬 사용을 최적화하고 일반화 성능을 입증합니다.

핵심 포인트

• SkillOS는 LLM 에이전트의 자기 진화를 위한 경험 기반 강화 학습(RL) 프레임워크입니다.
• 핵심은 고정된 실행기와 외부 SkillRepo를 업데이트하는 훈련 가능한 스킬 큐레이터를 분리하여 설계한 것입니다.
• 복합 보상(composite rewards)을 사용하여 장기적인 관점에서 스킬 사용의 효과성을 학습시킵니다.
• SkillOS는 메모리 기반 및 비메모리 기반 베이스라인 모두에서 우수한 성능과 일반화 능력을 보여줍니다.