핵심은 중국이 따라잡았다는 것임. 최첨단 모델들의 지능 차이가 너무 작아 직접 써보며 자신에게 맞는 모델을 찾아야 함
특히 27B 모델이 기대됨. 3.6은 여전히 로컬 실행의 최강자이며, 3.8도 같은 수준으로 개선된다면 로컬 모델을 기본 선택지로 삼을 만해짐. 로컬 3.8로 상시 에이전트를 돌리고 싶음

모델들이 비슷한 지점으로 수렴하는 현상은 LLM 능력의 상한선이 존재한다는 가설을 뒷받침할 수도 있음

Qwen 3.6 27B는 이미 기본 모델로 쓸 만함. 단일 7900 XTX에서 pi와 함께 Go 개발에 사용 중인데 훌륭함

몇 달 전의 인재 유출 이후로는 소형 모델에 여전히 회의적임

처음에는 Qwen이 55.4점으로 Opus Max의 55.3점을 앞섰는데, 페이지를 다시 열자 Qwen은 58.4점으로 2위가 되고 Opus Max가 59.2점으로 1위가 됐음
두 화면 모두 캡처했으며 차트 설명도 동일했는데, 몇 초 만에 점수가 크게 바뀐 이유가 궁금함

Qwen은 문제 해결과 진단에 매우 뛰어남. Qwen과 Kimi K3에 복잡하고 간헐적인 동일 버그를 맡겼더니 Kimi는 기존 코드를 조금 더 잘 이해했지만, Qwen은 진단 도구를 만들고 로그 데이터를 훌륭하게 통계 분석해 진실에 훨씬 가까이 갔음
쉽게 로컬에서 실행할 수 있는 소형 Qwen 3.8 출시가 매우 기대됨

Opus 5와 5.6 Sol도 시험해봤는지 궁금함

Qwen과 Kimi에는 어떤 CLI를 사용 중인지 궁금함

Intelligence Index에서는 여전히 Opus가 1위이고 Fable, GPT 5.6, Kimi K3, Qwen 3.8 Max 순임: https://artificialanalysis.ai/#intelligence
Arena ELO, AA Intelligence Index, 지연 시간과 속도를 합친 자체 순위는 Opus 5, Kimi K3, Qwen 3.8 Max, GPT 5.6 Sol 순임: http://pellmell.ai/leaderboard
다만 공급자별 처리량과 지연 시간이 시시각각 달라져 순위 변동이 큼

이런 지능 벤치마크는 코딩 에이전트에서 매우 중요한 작업 내용 전달 능력을 놓치고 있음
Opus 5는 복잡한 작업에서 업데이트가 지나치게 길고 난해해 사실상 쓰기 어려우며, 간단하고 명확하게 다시 말해달라고 자주 요청하게 됨. 까다로운 작업을 Claude Code와 Opus 5로 씨름하다 Codex와 GPT-5.6-sol로 옮기니 훨씬 상쾌했음
간결하고 명확한 소통도 지능의 핵심인데 현재 벤치마크에는 빠져 있음. 사람이 답변을 평가하는 Arena 계열 벤치마크라면 이를 측정할 수도 있어 보임

지연 시간이 승자를 바꿀 정도로 큰 영향을 준다면 시험 설계가 잘못된 것일 수 있음
응답 속도도 중요하지만 초 단위로 결과가 바뀌는 시험보다는 모델의 지능을 평가하면서 지연 시간을 안정적으로 반영하는 시험이 훨씬 유용함

Opus 5가 최고라고 나오는 벤치마크는 신뢰하기 어려움. 매일 실제로 써본 사람이라면 이유를 알 것임

극도로 답답함. 비생산적이라는 걸 알면서도 대화 중 욕하게 만드는 유일한 모델임

Opus 5가 간단한 코딩에서도 너무 많은 실수를 해 놀라움. Fable 5가 더 빨리 정확히 처리하는 일이 많아 결과적으로 비용도 더 저렴함

작업 하나를 맡겼더니 절반만 해결하고 새 문제 두 개를 만들어 돌아옴

이번 결제 주기가 끝날 때까지 완전히 4.8로 복귀했음. 8월에는 Qwen 도입과 실행 환경 이전 방안을 진지하게 검토할 예정임

역설적으로 Opus 5는 Anthropic 모델 중 가장 벤치마크에 과적합된 모델처럼 보임. 여러 면에서 실제로 똑똑하지만, GPT 계열 특유의 난해함에 장황함까지 더해졌고 지시의 미묘한 뉘앙스도 잘 놓침

모든 벤치마크를 실행한 것이 아님. Qwen은 GDPval-AA v2와 ³-Banking을 합친 AA 에이전트 지수에서는 최고지만 코딩 지수에는 DeepSWE와 SWE-Atlas-QnA 결과가 없고, Terminal-Bench v2.1은 81%로 Sol의 90%보다 낮음

이름 그대로 정말 ‘인공 분석’인지 의심스러움
다만 대형 Qwen 모델은 매우 인상적이었고 Kimi도 잠깐 써봤지만 좋았음. 깊이 파고들수록 품질이 저하되는 느낌은 남아 있으나, 컴퓨팅 자원과 품질의 절충을 매우 잘 달성한 듯함 온프레미스 실행 능력은 대체 불가능함. 양자화와 무리한 부작용 없는 증류 등 최적화 과정에서 나온 혁신을 생각하면 중국은 발전에 매우 중요한 역할을 했으며, 경쟁이 없었다면 LLaMA도 존재하지 않았을 수 있다고 봄

이 그래프들에 따르면 Grok 4.5가 가장 비용 효율적인 모델로 보임

서로 다른 벤치마크임. Artificial Analysis Agentic Index는 GDPval-AA v2와 Tau³-Banking의 가중 평균이고, Coding Agent Index v1.3은 DeepSWE, Terminal-Bench v2, SWE-Atlas-QnA를 합침 Qwen3.8 Max는 Agentic Index에서 55.4점이지만 Coding Agent Index에서는 아직 시험되지 않았음

Anthropic의 가격은 지나침. Max 계정에 곧 만료될 추가 사용량 크레딧 260달러가 있어 에이전트 군집으로 오래된 코드베이스를 깊이 분석하고 크게 수정하게 했는데, 25분도 안 돼 전액을 소진하고 구현은 시작조차 못 한 채 쓸모없는 계획만 잔뜩 작성했음
Anthropic이 기대하는 과금 수준을 실감했으며 너무 비쌈

비상용 /fast 세션을 위해 모아둔 약 300달러 크레딧도 잃었음. Fable로 설계한 뒤 구현을 위해 Opus로 낮췄는데, 병렬 Opus 세션 하나에 /fast가 켜져 있으면 새 세션에도 기본 활성화되는 듯했고 순식간에 크레딧이 사라졌음
지금은 버그가 해결된 듯하지만 지갑을 직접 털어가는 버그는 매우 불쾌했음. Claude Code에서는 이런 일도 평범한 화요일 같지만 여전히 좋아함

새 모델들은 토큰 태우기에 정말 능함
Opus 4.6은 명세나 기존 코드를 주면 불명확한 부분만 정확히 질문하고 계획을 세운 뒤 구현으로 넘어감. 반면 Opus 5는 기본 작업에도 과민 반응해 자신의 가정과 지시를 여러 번 재검토하고, 관련 없는 문제까지 코드 전체에서 찾아내며 수십만 토큰을 쓴 뒤에야 코드를 만들 수도 있음
벤치마크와 한 번에 MVP 브라우저 게임을 만들었다는 홍보는 넘치지만, 비교적 기본적인 실제 업무에서 겪는 모습과는 너무 다름

그 가격을 받고도 수익을 내지 못한다니 앞으로 험난해 보임

크레딧 과금과 구독 요금의 차이가 놀라움. 월 200달러 구독에서는 Fable을 ultracode로 몇 시간 돌려도 사용량 한도에 별 영향이 없음

집의 Max 계정에서 회사의 종량제 엔터프라이즈 계정으로 전환하면 강한 사용량 제한이 힘들지만, 가격이 워낙 비싸니 제한이 생길 수밖에 없음. 집에서는 아직 Uber 5달러 시절을 누리는 느낌임

중국 모델들이 벤치마크에서 따라잡은 만큼 이제 브랜드 경쟁으로 전환될 가능성이 큼. 절대적인 지능 점수보다 성격이나 작업 스타일 같은 주관적 특성으로 모델을 선택하기 시작했으며, 앞으로 이 방향의 변화가 흥미로울 듯함

이제는 단순히 비용과 속도가 중요함. GPT 5.6과 Fable, 이후의 공개 모델들부터 지능은 충분한 임계점을 넘었고 빠른 반복과 좋은 가격만 있으면 됨

예고된 소형 버전에도 이런 성과가 이어지길 바람. Qwen은 일부 도구 의존 작업에 필요한 지식은 적지만 지능은 높은 모델에 가장 가까움
심지어 3.5 2B도 도구를 우선 사용하고 섣불리 잘못된 결론을 내리지 않도록 쉽게 유도할 수 있음. 다만 예상대로 실제 코딩 능력은 형편없음

소형 모델을 수학과 코딩 작업으로 지나치게 강화학습시키면 이런 결과가 나옴. 창의적인 작업도, 틀 밖의 사고도 못 하는 채 자유롭게 놀아보지 못한 모범생처럼 됨
숙련됐다고는 할 수 있지만 내가 생각하는 지능과는 다름. 사람과 AI 모두 분야 사이의 숨은 연결을 찾고 진정한 발전을 이루려면 다양한 체험과 폭넓은 교양 교육이 필요함

Qwen 3.8 27B가 매우 기대됨. Strix Halo에서 프리필 속도가 약 300~400으로 느린 건 아쉽지만 에이전트 작업에는 매우 좋은 모델임

캐시를 잘 활용하면 프리필은 버틸 만하지만 문맥과 KV 캐시가 더 큰 문제임. Qwen 27은 KV 캐시에 상당한 공간이 필요함
128GB Halo나 Spark에서는 괜찮겠지만 일반 소비자·전문가용 GPU에서는 12만 토큰마다 문맥을 압축해야 해 고통스러움