이전 게시물에서 몇 분께서 Flash-Next와 Opus를 서로 다른 환경과 노력 수준으로 비교하는 것이 공정하지 않다고 지적하셨습니다. 그래서 여기서는 더 통제된 비교를 제시합니다. 모든 실행에 동일한 작업을 적용했습니다: LlamaStash 로드맵의 실제 기능(모델이 언로드되기 전에 llama-server의 KV 캐시를 저장하고 모델이 돌아왔을 때 복원하는 작업)입니다. 총 6가지 조합을 각각 두 번씩 실행하여 12개의 PR(Pull Request)을 진행했습니다. Flash-Next는 Strix Halo 노트북(Flow Z13)에서 Halogen(~Q4 quant)을 통해 로컬로 실행되었습니다. Opus 5.5, Flash-Next, 그리고 Kimi K3가 모든 PR에 대해 7가지 검토 질문과 CI를 거쳐 점수를 매겼습니다.
| 조합 | 점수 (8점 만점) | 시간 | API 비용 | 토큰 (입력 / 캐시 / 출력) |
|---|
| Claude Code + Opus 5.5, xhigh | 6.94 (87%) | 43.5분 | $17.78 | 507k / 48.3M / 203k |
| Claude Code + Opus 5.5, medium | 6.25 (78%) | 23.4분 | $6.52 | 242k / 13.4M / 95k |
| Claude Code + Flash-Next, medium | 5.5 (69%) | 45.3분 | $0.32 | 445k / 13.5M / 82k |
| Pi + Flash-Next, xhigh | 5.44 (68%) | 63.8분 | $0.67 | 316k / 35.0M / 134k |
| Claude Code + Flash-Next, xhigh | 5.38 (67%) | 49.5분 | $0.39 | 269k / 18.9M / 99k |
| Pi + Flash-Next, medium | 5.06 (63%) | 48.1분 | $0.56 | 242k / 29.1M / 117k |
점수는 두 번의 실행 평균입니다. 시간, 비용 및 토큰은 두 번째 실행에서 가져왔으며, 여기서는 프롬프트에 100k-token 벤치마크 수치가 제공되었습니다. Flash-Next 비용은 Qwen3.8-Flash의 QwenCloud 가격을 기준으로 했습니다. 저는 이를 로컬로 실행했기 때문에 전기료만 들었습니다. 요약하자면, 모든 12개 실행이 완료되었고 모든 12개 PR이 종단 간(end-to-end) 테스트를 통과했습니다. Opus가 평균적으로 더 나은 코드를 작성했으며, Claude Code + Flash-Next의 68% 대비 82%였고 Pi + Flash-Next의 66%였습니다. 차이는 엣지 케이스(edge cases), 테스트 및 문서화에 있었습니다. 핵심 기능 자체는 잘 작동합니다. Opus와 Qwen 사이의 격차는 그렇게 크지 않습니다. Flash-Next가 동일한 노력 수준에서 Opus보다 1.1배에서 2.1배 정도 더 오래 걸렸습니다. Flash-Next를 사용했을 때, Claude Code와 Pi는 검토 질문에서 동일한 점수를 받았습니다. CI는 Claude Code PR 중 4개 중 4개, 그리고 Pi PR 중 4개 중 1개를 통과했습니다. xhigh가 Opus에게 비용 측면에서 약간의 도움을 주어 2.7배에 달했습니다. Flash-Next의 경우, medium과 xhigh 점수가 비슷했으며, 모든 4쌍에서 medium이 더 빨랐습니다.
Opus가 여전히 앞서 있지만, Flash-Next도 그 뒤를 바짝 쫓았습니다. 제 노트북에서 전기의 비용으로 말이죠. 상세한 방법론과 실행별 결과, 그리고 각 모델이 놓친 점들을 담은 전체 글을 여기에서 확인하세요: https://deepu.tech/qwen3.8-flash-next-vs-claude-opus-showdown 코드를 읽고 싶다면 모든 12개의 PR(Pull Request)이 공개되어 있습니다: https://github.com/deepu105/llamastash-b4r2/pulls /u/deepu105가 제출한 [링크] [댓글]