"품질 테스트 완료(Quality-tested)"는 보통 아무런 의미도 없는 문구 중 하나입니다. 모든 도구가 이를 주장합니다. 대부분은 "한 번 실행해 봤는데 충돌(crash)이 나지 않았다"는 뜻입니다. 따라서 394개의 무료 Claude 스킬 라이브러리가 제품에 "모두 품질 테스트 완료, 평균 4.38/5"라고 적어 놓았을 때, 정당한 반응은 다음과 같습니다: 그것을 증명하십시오.

이 주장이 정확히 무엇을 의미하는지, 그리고 어느 부분이 취약한지를 포함하여 설명하겠습니다.

스킬이 stable 상태로 출시되려면 두 가지 기준을 통과해야 합니다

모든 스킬은 상태(status)를 가집니다. 라이브러리가 홍보하는 유일한 상태인 stable에 도달하려면, 다음의 7가지 차원(dimension) 평가를 통과해야 합니다:

1. 전체 평균 ≥ 4.0/5: 일관성(coherence), 관련성(relevance), 정확성(accuracy), 완전성(completeness), 유용성(usefulness), 형식 적합성(format-fit), 그리고 편집적 자연스러움(Editorial Naturalness)에 대한 평균 점수입니다.
2. 편집적 자연스러움(Editorial Naturalness) ≥ 4.0 (최소 하한선) — 스킬이 나머지 6개 항목에서 만점을 받더라도 이 항목에서 탈락할 수 있습니다. 이 차원은 관찰 가능한 AI의 특징(어휘적, 구조적, 어조적, 장르적)을 기준으로 출력물을 평가합니다. 이는 유능하게 들리는 쓰레기(slop)가 출시되는 것을 막는 기준입니다.

모든 stable 스킬의 라이브러리 평균은 4.38입니다. 차원, 임계값(thresholds), 금지 문구 목록을 포함한 전체 프레임워크는 마케팅 페이지가 아닌 리포지토리(repo)에 포함되어 있습니다.

산문은 코드가 아니기에 두 단계로 진행됩니다

코드 평가(Code eval)는 이진적(binary)입니다: 실행되거나 되지 않거나 둘 중 하나입니다. 산문(Prose)에는 초록색 체크 표시가 없으므로, 라이브러리는 두 개의 계층으로 테스트합니다. 첫째, **이진 단언(binary assertions)**은 기계적인 실패를 잡아냅니다. 즉, 필요한 섹션을 생성했는지, 출처가 없는 인용구를 지어내기를 거부했는지 등을 확인합니다. 수천 건의 테스트를 거치며 통과율은 높았으며, 소수의 "실패" 사례는 의도적으로 정보가 부족한 입력값에 대해 스킬이 콘텐츠를 꾸며내기를 올바르게 거부한 경우였습니다. 이는 바로 당신이 원하는 동작입니다. 둘째, 위의 **등급제 루브릭(graded rubric)**은 이진 체크가 할 수 없는 판단 영역을 처리합니다.

솔직하게 말해서 취약한 부분

등급제 점수 산정에는 모델을 판사(judge)로 사용하는데, 모델은 관대합니다. 모델은 유창한 텍스트를 선호하는 경향이 있으며, 여기에는 유창한 AI 텍스트도 포함됩니다. 따라서 점수는 **판결이 아닌 필터(filter)**로 취급됩니다. 다음 세 가지가 점수의 정직함을 유지합니다:

• 기준(the bar)이 높게 설정되어 있어 (자연스러움의 하한선(naturalness floor)을 포함하여 4.0 이상), 경계선에 있는 출력물은 통과하지 못합니다;
• 루브릭(rubric, 평가 기준)이 취향이 아닌 관찰 가능한 지표(observable tells)에 고정되어 있어, 두 번의 실행 결과가 대략적으로 일치합니다;
• 모든 스킬에 포함된 작업 예시(worked example)를 통해, 사용자가 직접 눈으로 몇 초 만에 출력물을 확인할 수 있습니다.

이것이 모든 출력물이 완벽하다는 보증은 아닙니다. 다만, "한 번 시도해 봤다"는 수준보다 훨씬 높은, 문서화되고 반복 가능한 기준입니다.

무료 스킬을 위해 왜 이런 노력을 하는가

대상 독자가 미디어 전문가들이기 때문이며, 그들은 일반적인(generic) 결과물을 즉각적으로 감지합니다. 나쁜 글쓰기를 알아채는 사람들을 위한 스킬 라이브러리는 정확히 그 축(axis)에서 테스트 가능해야 하며, 그렇지 않으면 전체 전제가 무너집니다. 평가 프레임워크(eval framework)는 자격 증명이 아닙니다. 그것은 "AI처럼 들리지 않는다"라는 주장을 단순한 느낌(vibe)이 아니라 검증 가능한 사실로 만들어주는 도구입니다.

리포지토리(repo)를 열고, 아무 스킬이나 열어 예시를 읽은 뒤, 직접 판단해 보십시오. 그것이 가장 중요한 테스트입니다.

→ github.com/ur-grue/autopunk-media-skills