Opus를 환상적으로 만들기: Fable 5의 독자적인 원칙에 따라 Opus 4.8을 실행하는 Claude Code 플러그인
요약
Fable 5의 행동 원칙을 적용하여 Claude Code에서 Opus 4.8의 성능을 최적화하는 플러그인 개발 사례를 소개합니다. 시스템 프롬프트, 하네스 훅, 평가 루프를 통해 모델의 출력 스타일과 실행 능력을 정교하게 제어합니다.
핵심 포인트
- Fable 5의 독자적 원칙을 기반으로 한 Claude Code 플러그인 구현
- 시스템 프롬프트와 7개의 하네스 훅을 통한 모델 행동 제어
- 12개의 프로브와 8차원 루브릭을 활용한 정량적 평가 루프 구축
- 튜닝 반복을 통해 순정 Opus 대비 다수 지표에서 성능 향상 달성
저는 Fable 5가 자신의 행동 규칙(답변을 구성하는 방식, 턴을 종료하는 시점, 허가를 구하는 대신 바로 작업을 수행하는 시점 등)을 직접 작성하게 했고, 이를 해당 원칙(doctrine)에 따라 Opus 4.8을 실행하는 Claude Code 플러그인으로 패키징했습니다. 네, Fable이 자신의 대역(impersonator)을 만드는 것을 도왔습니다. 원칙 자체는 리포지토리의 output-styles/fable.md에 있습니다.
여기에는 세 가지 계층이 있습니다: 시스템 프롬프트(system prompt)에 포함된 출력 스타일, 드리프트(drift)를 포착하는 7개의 하네스 훅(harness hooks)(예: hooks/stop-gate.sh는 전형적인 "이제 X를 수행하겠습니다" 식의 턴 종료를 차단하고 모델이 실제로 X를 수행하게 만듭니다. 또한 Read 도구를 선호하도록 cat 파일을 거부하는 훅과, "대체로 작동함" 대신 실패한 테스트를 그대로 보고하게 만드는 훅도 있습니다), 그리고 12개의 프로브(probes/)로 구성된 평가 루프(eval loop), 8차원 루브릭(rubric/evals/rubric.md), 그리고 실제 Fable 5가 생성한 골든 트랜스크립트(golden transcripts, evals/golden/)와 쌍체 비교(pairwise)하여 판단하는 과정입니다.
느낌(vibes)만으로는 부족하니 수치를 말씀드리겠습니다: 두 번의 튜닝 반복(tuning iterations) 후에, 플러그인을 적용한 Opus는 8개 차원 중 6개에서 순정(vanilla) Opus와 대등하거나 앞섭니다. 두 가지 평가 보고서 모두 커밋되어 있으며, docs/2026-07-02-baseline-report.md(2개 차원에서 패배했던 1차 반복)와 docs/2026-07-03-iteration-2-report.md(증거 기반 수정 후)를 확인하실 수 있습니다. 여전히 몇 가지 항목에서는 뒤처지는데, 위임(delegation)은 프롬프팅(prompting)이 아니라 가중치(weights)의 문제이기 때문입니다.
첫 번째 반복에서는 "발견 사항을 숨기지 마라"는 규칙이 오히려 악화되었습니다. Opus가 중단 훅(stop hook, 0.1.2 항목)을 만족시키기 위해 내용 없는 "모든 것이 확인되었으며, 보류 중인 사항 없음"이라는 결론을 덧붙이는 법을 배웠기 때문입니다. 또한, "골든 Fable 트랜스크립트" 중 하나가 알고 보니 Opus였습니다. 서빙 풀(serving pool)이 프롬프트 하나를 조용히 재라우팅(rerouted)한 것이었는데, 모델별 비용 귀속(cost attribution)을 단언함으로써 이를 포착했고, 고정된 풀(pinned pool)에서 다시 생성했습니다(0.1.1 항목). 또한, Fable의 골든 데이터 중 3개가 저의 "'~를 원하시나요...?'로 끝내지 마라"는 패턴에 걸렸습니다. Fable은 실제로 일부 턴을 결정 질문으로 끝내기 때문에, 이제 게이트(gate)는 계속할 것인지 묻는 제안만 차단합니다(교정 테스트는 tests/run.sh에 있습니다).
이것이 Opus의 추론(reasoning)을 더 깊게 만들 수는 없습니다. 대신 Opus가 더 잘 행동하게 만들고, 그 격차를 측정할 뿐입니다.
직접 시도해 보세요:
/plugin marketplace add rennf93/opus-fable-playbook 명령어를 실행한 후 /plugin install fable-mode@opus-fable-playbook 을 실행하세요.
또는 설치 없이 한 세션에서 실행하려면:
claude --plugin-dir <clone> --settings <clone>/profiles/opus-fable.settings.json 을 사용하세요.
전체 가이드: docs/guide.md.
저장소(Repo)는 여기 있습니다.
제출자: /u/PA100T0
[link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/ClaudeAI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기