안녕하세요. 저희 같은 하네스 빌더들이 많이 있다는 것을 알고 있습니다. 재미있고, 많은 것을 배우게 해주기 때문입니다. 저는 로컬 우선(local-first)의 하네스에 집중해 왔는데, 로컬 LLM을 실행할 때 프리필 비용이 명확하게 드러납니다. 이러한 비용은 종종 캐시 무효화에서 발생합니다. 메시지 순서를 지키지 않거나, 메시지 내용 중 무언가를 변경하거나 (또는 시스템 프롬프트나 도구 등), 심지어 reasoning_effort를 변경하는 것만으로도 제 설정에서는 캐시 무효화를 유발합니다! 그래서 이 도구를 만들었습니다: cache-hunter. 이것을 실행하고, 실제 LLM 엔드포인트를 가리키도록 설정하세요. 하네스에서는 cache-hunter의 로컬 포인트를 가리킵니다. 'Start capture'를 누르세요. 그리고 하네스에서 정상적인 전체 세션을 진행합니다. 그러면 이 세션이 도구에 실시간으로 표시되며, 빨간색 셀은 생각했던 것만큼 안정적이지 않았다는 것을 의미합니다. 첫 번째 행은 reasoning_effort, 두 번째는 도구 해시(tools hash), 세 번째는 시스템 프롬프트입니다. 저는 이 도구를 제 하네스로 테스트했을 뿐만 아니라 OpenCode, Claude Code, Cline, Pi, Hermes, Vibe와도 테스트했습니다. 대부분 불안정한 시스템 프롬프트, 불안정한 도구, 불안정한 순서 또는 내용에서 문제를 보였습니다. 이것이 현재 존재하는 하네스 표준 테스트에 포함되어 있지 않다는 것이 비상식적이라고 생각합니다. 만약 자신만의 하네스를 구축한다면 이 도구를 사용하고 그것이 무엇을 의미하는지 이해하세요 (또는 직접 만들어도 상관없습니다). 이것은 당신과 사용자 모두에게 도움이 될 것입니다.