기사 개요

Skill을 작성할 때 곤란한 점은, 수정할 때마다 Skill 자체의 품질이 어떻게 변했는지 알 수 없다는 것이다.

• Skill은 자연어로 작성되어 있기 때문에, 코드처럼 테스트로 평가하기 어렵다
• 공식 skill-creator의 eval로 평가는 가능하지만, 매번 실행하기에는 무겁다

그래서, 명확한 품질 저하를 방지하기 위한 실용적이고 간단한 팁 3가지를 소개한다.

Tips 1: 공식 베스트 프랙티스(Best Practices)를 AI에게 리뷰시키기

작성한 Skill을 다른 Claude 세션에 전달하여 다음과 같이 지시한다.

공식 Skill authoring best practices를 참조해서 이 Skill을 리뷰해줘.

그러면 공식 관점에 따른 지적 사항이 여러 개 돌아온다.

여기서 모든 사항을 적용할 필요는 없으므로, Skill의 용도나 규모에 맞춰 돌아온 지적 사항 중에서 자신이 필요하다고 생각하는 것만 선택하여 AI에게 적용을 지시한다.

Tips 2: Progressive disclosure와 피드백 루프(Feedback Loop)만은 채택해 두기

Tips 1의 리뷰를 수행하면 거의 매번 나오는 지적 사항이 2가지 있다.

• Progressive disclosure: SKILL.md를 목차로 만들고, 상세 내용은 references/로 분할한다.
• 피드백 루프 (Feedback Loop): 절차에 「검증 → 실패 시 수정 → 재실행」 루프를 포함시킨다.

이 두 가지는 효과가 매우 크며, 대부분의 Skill에 적용 가능하다. Tips 1에서 다른 지적 사항을 버리더라도, 이 두 가지는 원칙적으로 채택한다는 마음가짐을 가지면 품질이 안정된다.

Progressive disclosure와 피드백 루프를 적용해줘.

이렇게만 해도 SKILL.md의 분할과 검증 루프 삽입을 한꺼번에 처리해 준다.

Tips 3: Tips 1, 2를 「재작성 후의 경량 검증 단계」에 포함시키기

Skill 운용에서 가장 힘든 점은 수정 후에 품질이 저하되지 않았는지 확인하는 단계이다. eval을 매번 돌리는 것은 무겁고, 육안 리뷰로 퇴보(Degradation)를 모두 찾아내는 것도 어렵다.

여기서 Tips 1과 Tips 2를 재작성 후의 경량 검증으로서 습관화하면 이야기가 달라진다.

Skill을 재작성했다면 매번 다음과 같이 실행한다.

• Tips 1: AI에게 공식 베스트 프랙티스로 리뷰시키기
• Tips 2: PD(Progressive Disclosure)와 피드백 루프가 깨지지 않았는지 확인시키기

이것만으로도 「명확한 품질 저하」는 상당히 잡아낼 수 있다. 본격적인 eval을 돌리기 전의 필터로서 기능하므로, 가벼운 수정마다 무거운 검증을 돌리지 않아도 된다.

요약

• 공식 베스트 프랙티스를 참조하여 AI에게 리뷰시키기 (선택과 집중은 본인이 수행)
• Progressive disclosure와 피드백 루프만은 원칙적으로 채택하기
• 재작성할 때마다 Tips 1, 2를 검증 단계에 포함시키기

참고

Discussion