Agent의 Skill 작성: 단순한 문서 작성을 넘어 공학적인 최적화 과정으로

많은 사람들이 Agent를 위해 skill을 작성하지만, 본질적으로는 "감에 의존하여 문서 한 버전을 쓰는 것"에 불과합니다. 하지만 핵심적인 문제는 이것입니다: 그것이 단순히 그럴싸해 보이는 것이 아니라, 실제로 정말로 강해졌다는 것을 어떻게 증명할 수 있을까요?

Microsoft가 오픈소스로 공개한 SkillOpt는 더 공학적인(engineering) 해답을 제시합니다. 모델의 가중치(weight)를 건드리지 않고, skill 문서를 직접 "최적화 가능한 상태(optimizable state)"로 취급하여 신경망(neural network)을 훈련하는 것과 유사한 프로세스를 통해 이를 반복적으로 개선(iteration)해 나갑니다.

이 프로젝트는 몇 가지 핵심적인 일을 해냈습니다:

• 수정을 add / delete / replace와 같은 제어 가능한 편집(controlled editing)으로 분해하여, 모델이 한꺼번에 긴 문단을 다시 쓰지 않도록 함으로써 변경 사항을 제어하고 감사(audit)할 수 있게 했습니다.
• 각 후보 변경 사항은 반드시 검증 세트(validation set)를 통해 점수를 매겨야 하며, 점수가 오르지 않으면 채택하지 않음으로써 "수정할수록 자기만족에 빠지는 현상"을 방지합니다.
• epoch, mini-batch, learning rate, rejected-edit buffer 등 훈련(training) 개념을 도입하여 반복 과정을 더 안정적이고 재현 가능하게(reproducible) 만들었습니다.
• 최종 결과물은 compact한 best_skill.md이며, 배포 시 추가적인 추론(inference) 호출이 필요하지 않아 비용이 증가하지 않습니다.
• README에 훈련 프로세스, 프로젝트 페이지, 논문 및 데모를 모두 잘 갖추어 놓아, Agent 문서 능력을 체계적으로 연마하고자 하는 사람들이 즉시 시작하기에 적합합니다.

제가 생각하는 이 프로젝트의 가장 가치 있는 점은 "프롬프트 작성/skill 작성"을 일회성 경험에 의존하는 작업에서, 평가 가능하고(evaluable), 롤백 가능하며(rollable), 지속적으로 최적화할 수 있는(sustainable optimization) 공학적 프로세스로 격상시켰다는 것입니다.

만약 당신이 Agent, Claude Code/Codex CLI 워크플로우, 또는 내부 SOP 자동화 작업을 하고 있다면, 이 프로젝트를 진지하게 연구해 볼 가치가 있습니다.