에이전트 기반 강화학습을 위한 동적 스킬 라이프사이클 관리

요약

본 논문은 복잡한 작업을 수행하는 LLM 에이전트를 위해 외부 스킬 모듈을 관리하는 새로운 프레임워크 SLIM을 제안합니다. 기존 방법들이 스킬 축적이나 내재화를 가정하여 발생하는 한계를 극복하기 위해, SLIM은 활성 스킬 세트 자체를 정책 학습과 함께 동적으로 최적화 변수로 취급합니다. 이 프레임워크는 고가치 스킬 유지, 기여도 미미한 스킬 폐기, 그리고 실패 기반의 스킬 뱅크 확장을 통해 에이전트의 능력을 효율적으로 관리하며, 실험에서 최고 기준 모델 대비 높은 성능을 입증했습니다.

핵심 포인트

• SLIM은 외부 스킬 세트를 정책 학습과 공동으로 업데이트되는 동적 최적화 변수로 취급합니다.
• 활성 스킬 관리를 위해 '고가치 유지', '기여도 미미한 폐기', '실패 기반 뱅크 확장'의 세 가지 라이프사이클 연산을 적용합니다.
• SLIM은 정책 학습과 외부 스킬 유지가 상호 배타적이지 않음을 보여주며, 일반적인 에이전트형 RL 패러다임을 제시합니다.
• 제안된 프레임워크는 ALFWorld 및 SearchQA와 같은 복잡한 환경에서 높은 성능 향상을 보였습니다.