귀하가 제시한 원래 '증거'는 Claude Code에서 유출된 print.ts 파일에 기반하고 있습니다.
해당 파일은 claude -p, headless/SDK 모드의 진입점입니다. 3,167줄로 이루어진 함수(runHeadlessStreaming)는 stdin/stdout을 통해 JSON을 연결하고, SIGINT 처리, 속도 제한, 인증, MCP 서버 수명 주기, 플러그인 설치 및 모델 전환 등을 수행한 후, 실제로 작동하는 에이전트 루프에 작업을 넘깁니다. 이 에이전트 루프는 다른 곳에 존재합니다. 대화형 Claude Code는 심지어 이 과정을 거치지 않습니다. 486개의 분기(branches)는 리팩토링되지 않은 운영상의 배관(ops plumbing)일 뿐, 상징적 추론 커널이 아닙니다. 귀하 스스로 이것을 '엉망진창'이라고 불렀습니다.
더 중요한 것은, Claude Code가 특별히 강력한 평가 환경(harness)도 아니라는 점입니다. 훨씬 간단한 것들이 이보다 훨씬 뛰어난 성능을 보입니다.
Terminal-Bench 2.0에서 동일 모델로 비교했을 때:
Opus 4.6: Claude Code는 58.0%를 기록했으며, 이는 10개의 Opus 4.6 항목 중 마지막 순위였습니다. 유일한 도구가 tmux 세션에 키 입력을 보내는 Terminus 2는 62.9%를 기록했습니다.
Opus 4.5: Claude Code는 52.1%, Terminus 2는 57.8%를 기록했습니다. pi(read/write/edit/bash, 1k 토큰 미만의 시스템 프롬프트, 서브 에이전트 없음, 당시 압축 기능 없음)는 약 49.8%로 Claude Code와 비슷한 수준입니다.
Sonnet 4.5: Claude Code는 40.1%(마지막 순위)를 기록한 반면, bash만 사용하고 도구 호출 API가 없는 파이썬으로 이루어진 mini-swe-agent(약 100줄)는 42.5%를 기록했습니다.
Anthropic은 자체 SWE-bench 점수를 계산할 때 Claude Code조차 사용하지 않습니다. 그들은 bash와 문자열 치환을 통한 파일 편집이라는 두 가지 도구만 사용하는 간단한 스캐폴드(scaffold)를 사용합니다.
이제 평가 환경을 고정한 채 모델만 변경해 봅시다. Terminus 2는 38.0%(Opus 4.1)에서 57.8%(Opus 4.5)로, 그리고 62.9%(Opus 4.6)로 점수가 상승합니다. GPT 측면에서도 35.2%(GPT-5)에서 64.7%(GPT-5.3-Codex)로 상승합니다. 동일한 단순 루프임에도 불구하고 점수는 거의 두 배 가까이 증가했습니다.
이러한 성능 향상은 평가 환경(harness) 때문이 아니라 신경망(neural network) 자체에서 비롯된 것입니다.
리더보드: https://t.co/o53QY3ZroE