HAN이 Fable의 문제 해결 방식을 모든 모델이 실행할 수 있는 플러그인으로 재현했습니다.
에이전트 159회 실행 후, Sonnet과 이 플러그인은 리서치 과제에서 Fable과 10/10으로 동등한 결과를 보였습니다.
이 플러그인은 세 부분으로 구성되어 있습니다:
→ fable-method: 모든 모델에 엄격한 실패 임계값을 가진 구조화된 문제 해결 루프를 제공합니다.
→ fable-loop: 적대적 에이전트를 통해 전체 과제를 실행하고 작업을 검증합니다.
→ fable-judge: '완료, 모든 테스트 통과'라는 것을 검증되지 않은 것으로 간주하고 전체 과정을 독립적으로 재실행합니다.
결과는 구체적입니다:
→ Haiku는 0/4에서 4/4로 상승하며, 코드를 '수정'하기 전에 잘못된 테스트를 감지했습니다.
→ Sonnet + 이 방법은 5단계 리서치 과제에서 자체 Fable과 10/10으로 동등한 결과를 보였습니다.
→ judge는 Haiku를 3/5에서 5/5로 끌어올리며, 가짜 완료 보고서에 심어진 사기를 감지했습니다.
제가 가장 신뢰하는 부분은 그것이 '하지 않는' 것입니다.
능력 있는 모델을 사용한 일반적인 과제에서는 아무것도 기여하지 않습니다.
그들은 이것을 측정하고 문서화했으며 README에도 나와 있습니다.
가치는 함정(trap)에 집중됩니다: 잘못된 테스트, 완료된 과제의 허위 주장, 감독 없이 작동하는 취약한 모델들입니다.
지식을 제공하는 것이 아니라 규율을 제공합니다.
반복 과정이 품질에 대해 많은 것을 말해줍니다:
→ v1은 자체 테스트에 실패했습니다: 0/4
→ v2는 실패했습니다: 1/4
→ v3가 마침내 통과했습니다: 4/4
레포지토리에는 모든 실패한 버전들과 judge의 원시 전사(raw transcript)가 포함되어 있습니다.
그리고 플로우차트는 Fable에서 나온 것이 아니라, 어떻게 생각하는지를 설명하며 그려졌습니다. Fable 에이전트의 실제 tool call을 기록하고, 자체 설명이 실제 행동과 일치하지 않을 때마다 방법을 수정했습니다.
관찰(observation)이 자기 보고(self-reporting)보다 3번 더 우세했습니다.
만약 Claude Code를 저렴한 모델로 사용하거나 에이전트 워크플로우를 강화하고 싶다면, 당신의 시간 10분은 가치가 있습니다.
Claude Code에 설치하는 방법:
/plugin marketplace add Sahir619/fable-method
/plugin install fable@fable-method
아래 저장소에서 확인하세요 👇
