가장 인기 있는 9가지 Claude 코드 스킬에 위약(sugar pill)을 적용해 본 결과

각 스킬별 비용과 동일 길이의 위약(placebo) 대비 비교 (95% CI). 아래 1은 해당 스킬이 더 저렴하다는 의미입니다. planning-with-files는 패스율에서 "나쁘게" 작동했습니다: 80% 대 100%. 스킬이란 결국 Claude의 컨텍스트에 들어가는 텍스트일 뿐입니다. 추가적인 텍스트 자체만으로도 에이전트가 작동하는 방식이 달라질 수 있기 때문에, "스킬 유무 비교"로는 해당 스킬의 실제 내용물이 어떤 영향을 주는지 알 수 없습니다. 약물 임상시험에서는 이를 위약(placebo)을 사용해 처리하므로, 저는 다음과 같이 하나를 만들었습니다: 각 스킬과 동일한 토큰 수를 가진 중립적인 지침으로 구성된 위약을 설치하는 방식(플러그인, 훅 또는 CLAUDE.md)도 동일하게 적용했습니다. 그리고 Claude Code (Opus 5.5)가 SWE-bench Verified, Terminal-Bench 및 TBLite의 15개 공개 과제를 처리하도록 했습니다. 각 조건당 30회 실행, 총 450회 실행입니다. 저는 첫 번째 실행 전에 방법을 기록하고 커밋했으므로, 어떤 결과가 나오기 전부터 규칙이 설정되었습니다.

결과:

• ponytail과 agent-skills는 위약보다 성능이 좋았으며, 비용 면에서도 각각 -12%와 -5%를 기록했습니다.
• planning-with-files는 위약보다 성능이 나빴습니다: 80%의 실행만 통과했고, 위약은 100%였습니다.
• 나머지 6개 스킬은 위약보다 더 좋지 않았습니다. 여기에는 가장 많은 별을 받은 superpowers도 포함됩니다.
• 9가지 스킬 중 어느 것도 아무 스킬 없이 실행하는 것보다 Claude Code를 측정 가능하게 저렴하게 만들지는 못했습니다. 위약만으로도 비용이 +2%에서 +16%까지 변동했으므로, 스킬의 상당 부분은 단순히 그 길이 때문에 발생하는 비용입니다.
• caveman은 토큰을 65% 절감한다고 주장합니다. 이 에이전트 과제에서는 출력 토큰이 no skill 대비 -2% [-9%, +6%]로 변동했고, 총 비용은 14% 증가했습니다. 다만 그들 자신의 테스트는 다른 질문을 사용했기 때문에, 그 수치는 유효하지 않을 수 있습니다.

한계점:

• 하나의 모델에 국한되며, N이 작습니다 (두 승리 사례 모두 Holm-adjusted p = 0.049로 간신히 통과했습니다). 또한 과제들이 공개적이라 Opus가 이미 보았을 가능성이 높습니다. 이 때문에 저는 비용(cost)을 패스율(pass rate)보다 주요 결과로 제시했습니다. 모든 실행 기록과 로그는 원본 저장소에 있으니 직접 확인해 보고 싶다면 참고하세요.

저장소: https://github.com/simonether/skill-placebo
"uvx skill-placebo run <owner/repo>" 명령어로 9가지 스킬 중 어떤 것이든 자신의 기계에서 재실행할 수 있습니다. 이 코드는 Claude Code가 대부분의 하네스 및 분석 코드를 작성하여 만들었습니다.

어떤 스킬 작성자에게도 묶여있지 않습니다. 만약 제가 당신의 코드를 잘못 설치했다면, 이슈를 열어주세요. 그리고 그것이 괜찮다면 저는 전체적으로 다시 실행할 것입니다. 다음에 어떤 스킬을 테스트해야 할까요? 그리고 이 위약(placebo)이 공정한 통제군이라고 생각하지 않는다면, 대신 무엇을 사용하실지 듣고 싶습니다. /u/simon_ether 님이 제출함 [링크] [댓글들]