Microsoft Research 연구원이 Claude Code 사용자들이 기피해 온 문제를 해결했습니다.

Microsoft Research의 누군가가 모든 Claude Code 사용자들이 기피해 온 문제를 방금 해결했습니다.

여러분의 스킬 파일 (skill files)은 한 번 작성되면 다시는 손대지 않게 됩니다. 그것들이 실제로 좋은지 알 방법이 없습니다. 그저 바라기만 할 뿐이죠.

SkillOpt가 이를 변화시킵니다.

이 도구는 모델 가중치 (model weights)가 아니라, 여러분의 스킬 문서 (skill document) 자체를 학습 대상인 것으로 취급합니다. 바로 마크다운 (markdown) 파일 말입니다.

작동 루프는 다음과 같습니다:

→ 에이전트 (Agent)가 현재의 스킬 파일을 사용하여 실제 작업을 수행합니다.
→ 옵티마이저 (Optimizer)가 궤적 (trajectories)에서 무엇이 잘못되었는지 읽어 들입니다.
→ 문서에 제한된 범위 내의 추가, 삭제 또는 교체 편집을 수행합니다.
→ 편집 사항은 홀드아웃 검증 점수 (held-out validation score)를 개선할 경우에만 유지됩니다.
→ 개선이 멈출 때까지 실행됩니다. 결과물로 best_skill.md를 출력합니다.

출력물은 단 하나의 파일입니다. 그것을 넣기만 하면 끝입니다.

테스트된 52개의 벤치마크 (benchmark) 설정 중 52번 모두 승리했습니다.
스킬이 없는 베이스라인 (baseline) 대비 Claude Code에서 +19.1 포인트를 기록했습니다.
배포 시 추가적인 모델 호출 (model calls)은 전혀 없습니다.

저는 몇 달 동안 스킬 파일을 수동으로 튜닝하며 무엇이 성능을 높이는지 추측해 왔습니다. 이 도구는 실험을 제대로 수행하며, 제가 직접 작성하지 못했을 파일을 만들어냅니다.

OpenAI, Anthropic, Azure OpenAI 및 자체 호스팅 모델 (self-hosted models)을 지원합니다.

GitHub 스타 20K 개. MIT 라이선스. 100% 오픈 소스 (Open Source).

오늘 밤 여러분의 Claude Code 스킬 파일에 이 도구를 실행해 보시겠습니까?
[IMG:1]