AI용 plugin이나 skill은, 단순히 넣은 상태에서 성공했다고 해서 '효과가 있었다'고 증명할 수 없습니다. Claude 본체가 같은 작업을 할 수 있었을 수도 있기 때문입니다.
Claude Code에 claude plugin eval이 추가되었습니다. 이는 실제 prompt를 플러그인 유/무로 여러 번 실행하여, 점수 차이를 확인하는 메커니즘입니다. 공식 문서(docs)에 따르면 표준적으로 각 케이스를 3번씩, 총 6번 실행합니다. init은 테스트 케이스와 grader의 초안을 만들고 pilot까지 도움을 주지만, 좋은 출력과 나쁜 출력의 정의 및 실제 prompt는 사람이 가져오는 설계입니다.
여기서 중요한 것은 확인할 수치가 하나가 아니라는 점입니다.
- 플러그인 '있음' 측의 절대 점수(absolute score)는 합격했는지
- '없음' 측과의 차이점은 정말 존재하는지
- 여러 번 실행했을 때 결과가 안정적인지
- 토큰, 시간, 비용에 비례하는지
- 모델이나 버전이 바뀌어도 재현되는지
- 비교하는 두 그룹의 툴(tool), 고정값(fixture), 권한 조건이 갖춰져 있는지
예를 들어, 플러그인이 있어 점수가 조금 올랐더라도 합격 수준에 도달하지 못하면 실제 운영에서는 실패입니다. 반대로 양쪽 모두 만점이라면, 그 플러그인은 작업을 늘리지 않고 토큰만 증가시키고 있을 가능성이 있습니다. 차이점만으로는 부족하고 절대 점수만으로도 충분하지 않습니다.
grader는 정규표현식(regex), 툴 사용, 툴 순서, 파일 존재 여부와 같은 결정적인 판정과 LLM judge, 기준선 비교를 결합할 수 있습니다. 다만 임의 코드를 사용하는 grader는 사용할 수 없습니다. 공식 문서에서도 LLM judge에는 변동성이 있다는 점을 명시하고 있으며, CI(Continuous Integration)에서는 모델을 고정하고 긴 생성물에는 regex를, 짧은 출력에는 구체적인 PASS/FAIL 기준을 권장합니다.
원문 게시글에서는 79개의 답글 중 화면상에서 확인 가능한 최소 20개를 읽었습니다. 반복적으로 언급된 논점은