저는 저만의 벤치마크를 통해 DeepSeek V4 Flash를 Claude Code, OpenCode, 그리고 Pi에 실행해 보았으며, 품질은 세 가지 모두 기본적으로 동일하게 나온 반면 소요 시간과 사용된 토큰 양은 매우 달랐습니다. Claude Code (CLIProxyAPI를 통해 DS 사용 시)는 동일한 diffs를 생성하는 데 가장 빠른 도구보다 거의 4배 더 긴 시간이 걸립니다. Theo가 지난주에 "GPT-5.6 is better in Claude Code"라는 영상을 게시한 것을 보고, 하네스(harness)가 품질 차이를 만드는지 궁금해졌습니다. 적어도 저만의 벤치마크를 실행하여 결과를 확인할 수는 있었는데, vLLM에서 ~180 tok/s로 실행되는 DeepSeek V4 Flash를 사용했을 때 유일한 변수는 스캐폴딩(scaffolding)뿐이었습니다. 어쨌든 저는 제 워크로드(대규모 코드 베이스에서의 항원성 작업)를 바탕으로 이 모든 것을 측정하는 데 집중했습니다. 전체 차트, 세 가지 하네스에 걸친 토큰 및 실제 소요 시간(wall-clock) 분포, 그리고 실행당 원시 데이터는 상세히 확인하고 직접 분석하고 싶은 분들을 위해 사이트(https://nqawhc.github.io/articles/harness-efficiency-not-quality/)에 게시해 두었습니다. 요약하자면, 품질은 변하지 않았습니다. 각 하네스는 동일한 코드 diffs를 만들어냈지만, 그곳에 도달하는 경로는 매우 달랐습니다. 얼마나 많은 도구 호출(tool calls)을 하는지, 해당 도구 호출의 구조, 그리고 시스템 프롬프트(system prompt)와 도구(tools)가 어떻게 상호작용하는지가 결과에 큰 역할을 합니다. 예를 들어 «Pi는 추론하고, OpenCode는 위임하며», Claude Code는 코드 베이스를 탐색하는 것을 좋아하는데, 어쩌면 너무 과할 수도 있습니다.