마케팅 자료만 보고 하는 얘기지만, 어떻게 업체마다 신제품을 발표할 때마다 다른 모델보다 뛰어나고 저렴하며, 다음 날이면 또 더 좋고 싼 모델이 나오는 걸까? 독립적으로 검증하는 곳이 있기는 한가? 다른 발표들과 마찬가지로 이번 발표에 대해서도 논평하는 게 별 의미 없어 보임.
행간을 읽거나, HN에서 누군가 대신 읽어주기를 기다려야 함. 저렴하고 빠르고 똑똑한 것 중 둘을 고르는 것이지, 셋을 모두 얻는 건 아님.
이번 달처럼 토큰당 가격은 싸졌지만 추론 토큰을 5배나 써서 실제 비용은 오르는 경우도 있음.
언제나 더 비싼 모델보다는 저렴하고, 더 못하는 모델보다는 성능이 좋다는 뜻임.
요즘 새 모델들의 가격 대비 성능은 놀라운 수준임. OpenRouter에서 데이터 무보관(ZDR)을 지원하는 미국 제공업체의 Deepseek Flash 1017을 쓰는데, 프로젝트 전체를 처리하고도 0.10달러만 청구함.
가성비가 훨씬 좋아서 친구 몇 명에게 Claude 월 20달러 구독을 해지하도록 설득했음. 계획 수립에는 여전히 Opus 5.5를 쓸 수 있지만 호출당 2달러 넘게 듦. 이 모델도 미국 제공업체가 생기면 써보고 싶음.
모델을 구동하는 데 어떤 하네스를 사용하나요?
AA의 작업당 비용 기준으로 Opus 5.5는 최대 추론 설정에서 Deepseek보다 23배 비싸고, xhigh에서는 13배 비쌈. 최대 설정은 비효율적이라 쓰지 않는 편이 좋음.
하지만 Claude 구독은 API 대비 60배 규모의 보조 효과가 있어, 월 20달러로 API 1,200달러어치를 쓸 수 있음. 이 계산대로라면 Claude 구독이 훨씬 이득이고, 모델 자체도 더 강력함.
에이전트 작업의 전체 사용 비용이 전작보다 70% 낮다고 함. 이번 가격은 100만 토큰당 입력 0.15달러, 출력 0.60달러, 캐시 읽기 0.015달러임. 비교 대상인 전작은 Flash가 아닌 MiniMax M3로, 각각 0.30달러, 1.20달러, 0.06달러였음.
입력 가격이 절반으로 줄고, 입력 가격 대비 캐시 읽기 비율도 20%에서 10%로 반감됐으니 약 70% 절감은 그럴듯함.
LLM이 너무 비싸진다는 보도와 나란히 놓고 보면 재미있는 수치임. DeepSeek V4.1과의 경쟁 때문일 가능성이 큼. DeepSeek은 각각 0.15달러, 0.60달러, 0.003달러여서, 이번 모델도 유난히 저렴한 캐시 가격까지 따라잡지는 못했지만 상당히 가까워짐.
오히려 여러 모델의 캐시 요금이 여전히 높은 이유를 모르겠음. 프롬프트 캐싱이 제대로 작동하면, 추론에서 비싼 프롬프트 처리와 디코딩의 연산·메모리 전송 비용은 여러 턴에 걸쳐 토큰당 대략 한 번만 발생함.
문맥에 1천 토큰씩 추가하는 요청을 연속 100번 보내는 것과 10만 토큰짜리 요청을 한 번 보내는 것 사이에 제공업체의 비용 차이는 미미함. 그런데 전자는 추가 연산이 필요 없는 입력 토큰에도 반복해서 캐시 요금을 매겨 사용자가 훨씬 많이 지불하게 됨. DeepSeek V4.1의 KV 캐시는 극도로 최적화돼 100만 토큰당 약 900MB만 차지하므로 요청 사이에 디스크로 옮기는 것도 가능함. 저렴한 이유가 납득됨.
가중치는 아직 공개되지 않았음. 이전 MiniMax M3는 아마 약 4,280억 매개변수였던 것 같음. 이번에는 Flash라는 이름에 추론 속도도 3배 빠르다고 하니, 약 1,500억 매개변수 모델일 가능성이 있음. 그렇다면 양자화해서 DGX Spark나 128GB Mac, 신형 AMD AI 시스템에서 돌릴 수 있을 것임.
웹사이트 FAQ에 따르면 Minimax 3.1 flash는 전체 4,280억, 활성 230억 매개변수로, deepseek 4.1 flash와 대략 비슷함.
작거나 가볍지도 않고, 상당수는 특별히 빠르지도 않은데 이제 이런 모델을 Flash라고 부르는 게 흥미로움. 일반 모델의 기준이 1조 매개변수 이상으로 올라가고 있어서인 듯함. https://agent.minimax.io/tools/m3-1-flash-preview
우리 테스트에서 Minimax는 강력한 성능을 보여줬음. 추론 속도까지 해결했다면 경쟁자들이 긴장해야 할 것임. 소비자용 하드웨어에서 쓸 만한 속도는 최소 초당 13토큰 정도임. 이번에는 Hugston bench를 통과할지 지켜보겠으며, 꼭 통과하길 바람.
초당 13토큰이면 답답할 정도로 느리지 않나? 초당 20토큰이 대략 읽는 속도라 그보다 느리면 계속 버퍼링하는 느낌이 듦. 초당 35토큰부터 쓸 만하고, 50토큰이면 쾌적함.
그래프마다 Opus 5와 5.5를 섞어 쓴 것은 이상한 선택임.
확인해 보니 DeepSWE1.1에는 Opus 5.5 벤치마크 결과가 없었음. 요즘 어떤 벤치마크가 주류인지 따라잡기 어렵지만, 예전 GPT 모델들만 있는 걸 보면 이미 성능이 포화된 벤치마크로 여기는 것일 수도 있음.
최근 DeepSeek 발표도 Opus 5를 비교 기준으로 삼았는데 이해가 안 됨. 다른 공개 모델들은 구버전을 비교 대상으로 쓰는 것도 아님.
또다시 파레토 경계가 위쪽과 왼쪽으로 이동한 날임! 이 모델은 아직 안 써봤지만 Deepseek과 GLM 5.3 계열은 이미 많은 작업에 충분하다고 느껴짐. 더 좋고 저렴한 모델이 계속 나온다는 게 놀라움.
다만 실제 작업 완료 시간에도 더 신경 써주길 바람. 취미 프로젝트라면 저렴한 모델이 두 배 오래 걸려도 괜찮지만, 업무에서는 최상위 모델보다 작업 시간이 훨씬 길면 저렴한 모델을 정당화하기 어려움. 이런 발표에는 벤치마크 완료에 걸린 시간이 거의 공개되지 않음.
DS 4.1 1017은 GLM 5.3과 대략 동급으로 보이므로, 이번 모델은 순수 성능보다 가격을 겨냥한 듯함. 자체 결과에서는 더 비싼 모델도 이긴다고 하면서 비교표에서 DS를 바로 옆에 배치한 이유도 그것일 것임.
벤치마크에서 어떤 지표들을 조합하느냐에 따라 파레토 경계는 여러 개가 존재한다는 점을 알고 있나? 마케팅팀은 당연히 자사 모델이 가장 크게 개선됐고 경쟁 모델보다 유리해 보이는 경계를 골라 보여줄 것임.
DeepSeek Flash와 직접 비교해 본 사람이 있을까? 가격 대비 성능 벤치마크가 실제로도 맞는지 궁금함.
Reddit에는 DS 4.1 Flash보다 못하다는 댓글이 좀 있음. 다만 직접 테스트하지 않았고 벤치마크도 신뢰하지 않음.
MiniMax 모델들은 꽤 실망스러웠음. M2.5는 좋았지만 M2.7은 그저 그랬고 라이선스도 형편없었으며, M3도 별로였음. 이번에는 나을 수도 있지만 의구심이 듦.
물론 좋고 나쁨은 모두 상대적임. M3.1이 몇 달 전에 나왔다면 획기적이었을 텐데, 발전 속도가 너무 빠름. 반면 H3는 정말 훌륭함.