SkillGraph: 에이전트를 위한 스킬 증강 강화학습 (Reinforcement Learning)

요약

SKILLGRAPH는 대규모 언어 모델(LLM) 에이전트가 단순히 독립적인 스킬을 검색하는 것을 넘어, 스킬 간의 의존성과 구조적 관계를 이해하고 활용할 수 있도록 설계된 프레임워크입니다. 이 프레임워크는 재사용 가능한 스킬들을 방향성 그래프 노드로 표현하고, 선행 조건, 향상, 동시 발생 등의 타입화된 엣지를 사용하여 복잡한 작업 흐름을 모델링합니다. SKILLGRAPH는 강화학습(RL) 피드백을 통해 지속적으로 업데이트되며, 에이전트의 정책과 스킬 라이브러리 모두를 개선하여 복합적인 작업을 수행하는 데 최적화되어 있습니다.

핵심 포인트

• 스킬 그래프 구조 도입: 재사용 가능한 스킬들을 방향성 그래프 노드로 표현하고 관계(엣지)를 명시합니다.
• 구조적 의존성 모델링: 단순 검색을 넘어, 선행 조건, 향상 등 타입화된 엣지를 통해 스킬 간의 복잡한 상호작용을 포착합니다.
• 순서화된 서브그래프 검색: 주어진 작업에 맞춰 개별 스킬이 아닌, 다단계 의사결정을 안내하는 순서가 있는 스킬 조합(subgraph)을 추출합니다.
• 강화학습 기반 업데이트: 에이전트의 실제 궤적과 RL 피드백을 활용하여 스킬 라이브러리와 정책을 지속적으로 개선합니다.
• 복잡한 작업 성능 향상 입증: ALFWorld, WebShop 등 복합적인 조합 능력을 요구하는 다양한 환경에서 최첨단 성능을 달성했습니다.