온라인상의 에이전트 스킬을 활용하여 학습 데이터로 변환하는 Skill2Env

온라인상에는 점점 더 많은 에이전트 스킬(Agent Skills)들이 생겨나고 있는데, 대부분은 에이전트가 따라 수행해야 할 설명서에 불과합니다. 하지만 이 스킬들을 역으로 활용하여 에이전트를 훈련시키는 방법을 생각한 사람은 거의 없습니다.

NVIDIA의 NVlabs 팀에서 공개한 Skill2Env가 바로 이런 일을 합니다. 이는 임의의 스킬을 강화학습(RL) 훈련에 사용될 수 있는 커맨드라인 작업으로 변환합니다.

스킬을 학습 자료로 사용하는 이 아이디어는 매우 영리하다고 생각됩니다. 잘 만들어진 스킬은 이미 작업을 어떻게 수행해야 하는지 명확하게 설명하고 있기 때문입니다.

각 작업은 작업 설명, Docker 환경, 테스트 스크립트, 그리고 참조 답변이 포함된 폴더로 패키징되어 있어, 올바르게 완료되었는지 자동으로 확인할 수 있습니다.

GitHub:
http://github.com/NVlabs/Skill2Env
…
질문 생성은 컨테이너 내부의 Codex에게 맡겨집니다. 먼저 하나의 에이전트가 계획을 세우고, 그 후 여러 에이전트들이 분담하여 작업을 생성하며, 스킬당 최대 8개의 질문을 만듭니다.

또한 이 저장소에는 SkillHub가 포함되어 있어, 공개 GitHub 리포지토리의 2396개 스킬들을 걸러냅니다. 로그인 계정이 필요하거나, 특정 하드웨어에 의존하거나, 단순히 카피라이팅 작성에 관한 스킬들은 제외하며, 각 스킬의 라이선스도 개별적으로 기록합니다.

공식 벤치마크는 4코어 머신에서 하나의 예시 스킬을 실행하는 것으로, 두 개의 질문을 생성하는 데 약 20분에서 30분이 걸립니다. 에이전트 훈련을 진행하며 작업 데이터가 부족한 팀들이 한번 시도해 볼 수 있습니다.