요약하자면(TL;DR): 제가 개인적인 코딩 벤치마크에 새로운 DeepSeek V4.1 Flash 1017을 실행해 봤는데, 정말 좋습니다. 과제당 5센트 미만으로 높은 난이도(high)에서 100%를 달성했습니다. 모든 34가지 설정에 대한 토큰 수, 캐시 적중률, 시간 등은 리더보드에 올라와 있습니다.
안녕하세요. 저는 Nebius에서 코딩 에이전트 및 평가(evals) 작업을 합니다. 저는 제가 직접 진행한 에이전트 세션으로 만든 작은 벤치마크를 유지하고 있습니다: 일상 업무에서 가져온 10가지 과제, 각각 3회 실행, 숨겨진 테스트로 확인했습니다. 이전에 Opus, GPT, Sonnet에 대한 결과를 게시한 적이 있습니다. 이번에는 새로운 DeepSeek V4.1 Flash 1017을 시도해 보았습니다. 이 과제들은 작고 실제 업무에서 가져온 것입니다. Pass-all-3은 해당 설정이 신뢰할 만큼 충분히 좋은지 보여줍니다. 그 후, 저는 토큰 수, 비용(cost), 시간 및 단계별로 설정을 비교하며, 어떤 조합의 harness, 모델, 기술(skills) 및 도구(tools)든 테스트해 볼 수 있습니다.
| Harness | Model | Effort | pass@1 | pass-all-3 | $/task |
|---|
| Pi | GPT-6 Luna xhigh | 100% | 100% | $0.0145 | |
| Pi | Haiku 5.5 high | 100% | 100% | $0.0208 | |
| Pi | DeepSeek V4.1 Flash 1017 high | 100% | 100% | $0.0450 | |
| Pi | Opus 5.5 low | 100% | 100% | $0.1168 | |
| Pi | DeepSeek V4.1 Flash 1017 low | 90% | 90% | $0.0257 | |
| DeepSeek Harness | DeepSeek V4.1 Flash 1017 low | 96.7% | 90% | $0.0326 | |
| Pi | DeepSeek V4.1 Flash (Sep) max | 93.3% | 80% | $0.0425 | |
새로운 버전은 지난 9월 버전보다 확실히 강력합니다. 높은 난이도(high)에서 모든 30회 실행을 통과했으며, 최대 난이도(max)에서는 9월 버전보다 1.7배 빨랐습니다. 하지만 여전히 많은 토큰을 소모합니다: 과제당 약 550k인데 반해, 낮은 난이도(low)에서 Opus 5.5는 약 30k만 필요합니다.
또한 두 가지 harness인 Pi와 DeepSeek Harness를 비교했는데, 이들은 다르게 작동합니다. DeepSeek Harness는 더 큰 시스템 프롬프트(Pi의 3k 토큰 대비 약 7k 토큰)를 가지고 있으며 모델에게 파일 읽기 및 편집을 위한 네이티브 도구를 제공합니다. 반면 Pi는 거의 모든 것을 bash를 통해 처리합니다. Bash가 거의 모든 것을 포괄하지만, 일부 모델은 자체 도구와 더 잘 작동하며 DeepSeek이 그중 하나로 보입니다.
낮은 난이도(low)에서 DeepSeek Harness는 Pi가 놓친 엣지 케이스(corner case)를 잡아냈습니다: pass@1은 29/30 대 27/30이었고, Pass-all-3은 동일하게 (90%)이었지만, DeepSeek Harness가 약 75% 더 많은 토큰과 더 많은 단계를 사용했습니다. 최적화할 여지가 있습니다.
Pi에서 Opus 5 → Opus 5.5로 가면서 작업당 토큰 수가 177k에서 98k로 줄었고, 단계(steps)도 적어졌습니다. DeepSeek이 비슷한 수준의 향상을 보여준다면 정말 좋을 것입니다. 그리고 지금도 이 많은 토큰에 비해 저렴합니다: 거의 모든 입력이 캐시(cache)에 기록되어 작업당 비용이 몇 센트밖에 들지 않습니다. 몇몇 분들이 자신의 세션에서 이런 벤치마크를 구축하는 방법을 물어보셔서 짧은 가이드가 생겼습니다: https://ibragim.dev/writing/agent-sessions-to-evals/ 다음에는 훨씬 더 어려운 작업들을 소규모로 구성하여, 다양한 하네스(harnesses)와 인기 있는 도구 및 기술들로 비교해 보겠습니다. P.S. 만약 특정 하네스나 모델에 대한 요청이 있으시면 저도 실행할 수 있습니다. submitted by /u/Fabulous_Pollution10 [link] [comments]