최근 LLM 분야에서 '에이전트 스킬(agent skills)'은 모델의 능력을 확장하는 핵심 트렌드로 떠오르고 있습니다. 에이전트 스킬이란, 복잡한 지식이나 특정 작업 수행 방법을 마크다운 파일이나 스크립트와 같은 파일 형식으로 정의하여 모델 컨텍스트를 구성하고 공유할 수 있는 실용적인 매개체입니다. 이는 모델이 원래 잘하는 영역을 넘어선 전문적이거나 고난도의 문제에 능력을 확장(upskill)시키는 데 매우 유용합니다.

본 글은 'upskill'이라는 새로운 도구를 사용하여 이러한 에이전트 스킬을 생성하고, 이를 소형 오픈 모델(open models)에 적용하여 성능을 측정하는 전 과정을 심도 있게 다룹니다. 특히, CUDA 커널 작성과 같은 고도로 전문화된 작업을 예시로 들어 그 유용성을 입증합니다.

🛠️ 에이전트 스킬 생성 및 평가 과정

1. 스킬 초안 생성 (Teacher Model 활용): 먼저 Claude와 같은 강력한 '교사 모델(teacher model)'을 사용하여 목표 작업을 수행하게 하고, 이 과정을 상세히 기록한 추적 기록(trace)을 확보합니다. CUDA 커널 작성의 경우, 프로젝트 구조 정의부터 아키텍처별 최적화까지 전 과정이 포함됩니다.
2. 스킬 파일 생성: 확보된 트레이스를 바탕으로 스킬 파일을 만듭니다. 이 과정은 에이전트에게 직접 지시하거나 (1) Anthropic의 'skill creator' 기능을 사용하거나, 가장 체계적인 방법인 upskill 도구를 사용하는 세 가지 방식이 있습니다.
3. 성능 평가 및 검증: 여기서 upskill의 진가가 발휘됩니다. 단순히 스킬 파일을 생성하는 것을 넘어, 이 도구는 트레이스를 기반으로 테스트 케이스를 자동으로 생성하고, 모델에 스킬을 적용했을 때와 적용하지 않았을 때의 성능(정확도)을 비교 평가합니다.

이러한 평가는 모델별로 다르게 나타납니다. 예를 들어, 특정 오픈 소스 모델에서는 스킬 적용 후 정확도가 향상되지만, 다른 모델이나 경우에서는 오히려 성능 저하가 발생하거나 토큰 사용량이 증가할 수 있습니다. 따라서 모든 스킬이 만능은 아니며, 신중한 검증이 필요합니다.

💡 비용 효율적인 활용과 최적화

에이전트 스킬의 또 다른 중요한 측면은 토큰 사용량(token usage) 최적화입니다. 고성능 모델을 사용할 때와 달리, 소형 오픈 모델을 반복적으로 사용하는 경우 토큰당 비용 절감이 중요합니다. 스킬은 에이전트가 같은 정확도를 달성하는 데 필요한 토큰 수를 줄여주어 운영 비용을 획기적으로 낮출 수 있습니다.

결론적으로, upskill과 같은 도구를 활용하여 고난도 작업에 특화된 검증된 스킬을 개발하고 평가함으로써, LLM의 잠재력을 극대화하고 실제 산업 현장에서 적용 가능한 강력한 에이전트 시스템을 구축할 수 있습니다. 이 프로세스는 모델 성능 향상뿐만 아니라 운영 효율성까지 고려하는 포괄적인 접근 방식을 제시합니다.