원글이 Reddit에서 어떤 이유로 삭제되어 다시 게시합니다 (왜 그런지는 저도 모르겠습니다). 지난 게시물에서 몇 분들이 Flash-Next와 Opus를 서로 다른 환경과 노력 수준으로 비교하는 것은 공정하지 않다고 지적하셨습니다. 그래서 여기 좀 더 통제된 비교 결과를 가져왔습니다. 모든 실행에 동일한 작업을 사용했습니다: LlamaStash 로드맵의 실제 기능(모델이 언로드되기 전에 llama-server의 KV 캐시를 저장하고 모델이 돌아올 때 복원하는 것). 총 6가지 조합을 각각 두 번씩 실행하여 12개의 PR을 만들었습니다. Flash-Next는 제 Strix Halo 노트북 (Flow Z13)에서 Halogen (~Q4 quant)을 통해 로컬로 실행했습니다. Opus 5.5, Flash-Next, 그리고 Kimi K3가 모든 PR에 대해 7가지 검토 질문과 CI를 거쳐 점수를 매겼습니다.
| 조합 | 점수 (8점 만점 평균) | 시간 | API 비용 | 토큰 (입력 / 캐시 / 출력) |
|---|
| Claude Code + Opus 5.5, xhigh | 6.94 (87%) | 43.5 min | $17.78 | 507k / 48.3M / 203k |
| Claude Code + Opus 5.5, medium | 6.25 (78%) | 23.4 min | $6.52 | 242k / 13.4M / 95k |
| Claude Code + Flash-Next, medium | 5.5 (69%) | 45.3 min | $0.32 | 445k / 13.5M / 82k |
| Pi + Flash-Next, xhigh | 5.44 (68%) | 63.8 min | $0.67 | 316k / 35.0M / 134k |
| Claude Code + Flash-Next, xhigh | 5.38 (67%) | 49.5 min | $0.39 | 269k / 18.9M / 99k |
| Pi + Flash-Next, medium | 5.06 (63%) | 48.1 min | $0.56 | 242k / 29.1M / 117k |
점수는 두 번의 실행 평균입니다. 시간, 비용 및 토큰은 두 번째 실행에서 가져왔으며, 이 때 프롬프트에 100k-토큰 벤치마크 수치가 주어졌습니다. Flash-Next 비용은 Qwen3.8-Flash의 QwenCloud 가격을 기준으로 했습니다. 저는 로컬로 실행했기 때문에 전기료만 들었습니다. 요약하자면, 모든 12개 실행이 완료되었고 모든 12개 PR이 엔드투엔드 테스트를 통과했습니다. Opus가 평균적으로 가장 좋은 코드를 작성했으며, Claude Code + Flash-Next의 68%와 Pi + Flash-Next의 66%에 비해 82%였습니다. 차이는 엣지 케이스(edge cases), 테스트 및 문서화에서 발생합니다. 핵심 기능은 아무 문제 없이 작동했습니다. Opus와 Qwen 사이의 격차는 그렇게 크지 않습니다. Flash-Next는 동일한 노력 수준에서 Opus보다 1.1배에서 2.1배 정도 시간이 더 걸렸습니다. Flash-Next를 사용했을 때, Claude Code와 Pi는 검토 질문에서 같은 점수를 받았습니다. CI는 Claude Code PR 중 4개 중 4개, Pi PR 중 4개 중 1개를 통과했습니다.
Flash-Next의 경우, medium과 xhigh가 비슷한 점수를 기록했으며, 4쌍 모두에서 medium이 더 빨랐습니다. Opus가 여전히 앞서지만, Flash-Next도 그 뒤를 바짝 쫓았습니다. 제 노트북 기준으로 비교했을 때 말이죠. 또한 모델들이 같은 수준은 아니라는 점에 유의해야 합니다. Opus는 FP16 또는 최소한 FP8로 실행되는 프론티어(frontier) 모델입니다. 저는 Flash-Next를 제 노트북에서 4.16 bpw로 실행했습니다. Flash-Next를 FP8로 실행하면 품질이 조금 더 좋아져야 합니다. Flash-Next를 구동한 장치는 전체 시간 동안 70W TDP 상한선으로 작동했습니다. 속도를 약간 더 높이기 위해 90W로 실행할 수도 있었겠지만, 팬 소음과 열 스트레스가 그만한 가치가 없었습니다. 상세 방법론 및 각 실행별 결과, 그리고 각 모델이 놓친 부분에 대한 전체 보고서는 https://deepu.tech/qwen3.8-flash-next-vs-claude-opus-showdown에서 확인하실 수 있습니다. 코드를 읽고 싶다면 모든 12개의 PR(Pull Request)은 공개되어 있습니다: https://github.com/deepu105/llamastash-b4r2/pulls (제출자: /u/deepu105) [링크] [댓글]