동일한 DeepSeek V4 Flash. 서로 다른 런타임 (runtime). 매우 다른 장기 작업 (long-task) 결과.

나의 로컬 샘플은 제한적입니다: Codex + Flash는 파일 간의 반복적인 검증이 필요한 긴 데크 작업을 완료했습니다. 반면 Claude Code + Flash는 여러 번의 리뷰를 시작했지만, 그 품질은 독립적으로 검증되지 않았습니다. 이는 보편적인 순위가 아니라, 서로 다른 조합 (pairings)의 차이를 뒷받침합니다.

유용한 단위는 모델 ID가 아닙니다. 그것은 완전한 런타임 (runtime)입니다: 모델 (model) × 프로토콜 (protocol) × 도구 (tools) × 컨텍스트 (context) × 복구 (recovery) × 수용 (acceptance).

결과가 변하는 네 가지 계층

프로토콜 (Protocol)은 궤적 인터페이스 (trajectory interface)입니다. 프로토콜은 목표, 도구 결과, 중간 상태, 그리고 지속(continuation)이 어떻게 표현되는지를 정의합니다. 호환성 계층 (compatibility layer)이 성공적으로 연결될 수는 있지만, 여전히 장기적 실행 능력 (long-horizon affordances)을 상실할 수 있습니다.

도구 (Tools)는 버튼이 아니라 계약 (contracts)입니다. 스키마 (schemas), 파라미터 (parameters), 반환 형식 (return formats), 그리고 실패 신호 (failure signals)가 행동 공간 (action space)을 정의합니다. 동일한 "읽기" 또는 "편집" 레이블이라도 런타임에 따라 다르게 동작할 수 있습니다.

컨텍스트 (Context)와 복구 (recovery)는 국소적 지능 (local intelligence)을 지속 가능하게 만듭니다. 장기 작업에는 제약 조건을 보존하고, 실패 증거를 유지하며, 편차 (drift)를 감지하고, 안정적인 지점으로 돌아가며, 재계획 (re-plan)하는 능력이 필요합니다.

수용 (Acceptance)은 완료를 정의합니다. 에이전트의 "완료"는 자기 보고 (self-report)입니다. 전달 (delivery)이란 파일 상태, 테스트, 미리보기, 권한, 그리고 외부 사실이 원래의 목표와 일치함을 의미합니다.

DeepSeek의 공개 업데이트는 코드 에이전트 벤치마크를 위한 Harness 최소 모드를 명시하고 있으며, V4 Flash가 Codex를 위해 조정되었다고 밝히고, Responses API 지원을 문서화했습니다. 공개적인 Code Harness 채용 언어는 이러한 전략적 방향을 강화합니다. 이것들은 제품 신호 (product signals)이지, 보편적 우월성의 증거는 아닙니다.

테스트 가능한 공학적 가설

나는 이 아이디어를 다음과 같이 작성합니다:

유효한 에이전트 (Effective Agent) = 모델 잠재력 (Model potential) × Harness 실현율 (Harness realization rate)

실현율 (realization rate)은 프로토콜 매칭 (protocol matching), 도구 계약 신뢰성 (tool-contract reliability), 컨텍스트/복구 품질 (context/recovery quality), 그리고 수락 증거 (acceptance evidence)로 분해될 수 있습니다. 더욱 신뢰할 수 있는 비교를 위해서는 백엔드 모델 ID, 작업 (task), 코드 상태, 클라이언트 버전, 노력 (effort), 권한, 그리고 수락 기준 (acceptance criteria)을 고정하고, 작업을 반복하며, 도구 오류, 재작업 (rework), 인간의 개입 (human intervention), 그리고 롤백 (rollback)을 기록해야 합니다.

만약 이러한 조건들을 고정할 수 없다면, 그 결과는 모델 리더보드 (model leaderboard)가 아니라 런타임 관찰 (runtime observation)이라고 불러야 합니다.

모델이 천장 (ceiling)을 설정할 수는 있습니다. 하지만 그 천장의 얼마만큼이 실제 작업에 도달하는지를 결정하는 것은 런타임 (runtime)입니다.

당신이 오늘 사용하고 있는 에이전트 (agent)에서 가장 얇은 계층 (thinnest layer)은 무엇입니까?

공개: 이 기사는 AI의 도움을 받아 작성되었으며 저자가 검토하였습니다.