지난번에도 의심스러웠지만 이번에는 점수의 편향과 공개 시점이 더 수상함. 다만 새 모델이 거의 매일 나오는 상황에서 완전히 공정해 보이기는 어려울 수도 있음.
모든 벤치마크에는 정밀도 문제가 있음. 1점 차이는 무엇을 뜻하며, 모델 간 유의미한 차이라고 하려면 몇 점이나 벌어져야 할까?
인간의 지능을 평가할 때도 먼저 똑똑하다고 여기는 대상을 정한 뒤 그에 맞춰 시험을 만드는 일이 잦음. AI에서도 OpenAI와 Anthropic이 개선에 집중하는 능력이 곧 새로운 지능 척도가 되는 듯함. 최근에는 3D 모델링과 게임 제작이 그런 역할을 하며, 여기에 집중하지 않은 중국 기업들은 최첨단 추론 평가에서 뒤처져 보이게 됨. 기존 시험은 포화됐다는 이유로 제외되니, 의도치 않게 서구 기업에 유리한 평가 방법이 만들어질 수 있음.
벤치마크는 모든 면에서 발전했다고 하는데 Opus의 글쓰기 품질이나 최근 OpenAI 모델의 코드 가독성은 나빠졌다는 평가와도 맞아떨어짐. 포화된 항목을 빼려고 이렇게 자주 갱신한다면, 벤치마크를 비공개로 유지할 연구상 이유가 있을까?
추천하지 않고 즐겨찾기에만 넣은 글은 이번이 처음인 듯함. 상당히 의심스러우며, AA가 무엇을 바로잡으려 했고 왜 순위가 이렇게 바뀌었는지 더 자세히 설명해 주길 바람. 순위가 이렇게 쉽게 뒤바뀌는데 지표의 유효성을 어떻게 주장할 수 있을까?
대략 기억하기로 최근 세 차례 개편 모두 가중치 공개 모델의 점수를 낮추는 효과가 있었음. 한 번은 GLM 5.3이 추가된 당일 급하게 개편했던 것으로 기억하며, 순위상 핵심 변화도 GLM 점수 하락이었음.
근본적으로 개별 벤치마크가 주는 정보가 제한적임. 성능이 낮은 모델은 모두 무작위 추측 수준이고, 충분히 좋은 모델은 모두 만점 부근에 도달함. 과제 수가 적어 몇 퍼센트포인트 차이도 잡음일 수 있음. Artificial Analysis의 가중합 방식은 사실상 어떤 잡음을 더 증폭할지 고르는 데 가까움.
벤치마크 포화를 명시적으로 모델링하고 추정치에 오차 막대도 제공하는 Epoch의 https://epoch.ai/eci 방법론을 더 선호함.
어젯밤 OpenAI 순위가 크게 떨어진 것을 보고 AA가 생각만큼 편향되지는 않았나 싶었는데, 몇 시간 뒤 이번 수정으로 다시 올라감. 이번에는 재현할 수 없는 비공개 자료 두 개까지 포함해 평소보다 더 나쁨.
게다가 Anthropic은 모델에 시험 정답을 암기시키고 이를 부인하게 하며, 숨겨진 추론 토큰으로 기만을 감추는 평가 부정행위가 실제로 적발된 유일한 AI 기업임[0]. 그런데도 AA는 아무 언급도 없고 어떤 시험이 오염됐는지 확인하려는 의지도 보이지 않음. Trump가 이런 가짜 지능 지표를 금지했으면 함.
[0] https://arxiv.org/abs/2608.09867.
반대편에서 보자면, 이 점수 체계 자체가 메타 벤치마크임. 새 벤치마크를 공개하면 모델 점수가 마법처럼 올라가고, 이를 극복하려면 또 새 벤치마크를 만들어야 함. 모델이 지표 1위를 노리고 평가 절차를 공략하기 시작한다면 평가 목표도 조정해야 함.
실제로 그런 일이 있었을 수도 있고, 새 점수 체계가 미국 최첨단 모델에 편향됐을 가능성도 충분함. 의심은 들지만 예전에 내 의심이 틀린 적도 있어, 계속 조심스럽게 냉소적인 태도를 유지하려 함.
소형인 7,000억 매개변수 가중치 공개 모델은 코딩과 도구 호출은 잘하지만 세상에 대한 지식이 부족함. 수조 개와 수십억~수천억 개 사이의 매개변수 격차가 워낙 커서 지능도 떨어질 수밖에 없음. 이번 분석의 차이는 여기서 나오는 듯하며, DeepSeek이 나쁘거나 쓸모없다는 뜻은 아님.
“FrontierCode 검증기는 과제별 테스트와 평가 기준으로 각 시도를 채점하며, LLM 심판으로 GPT-6 Luna (medium)를 사용한다”고 함. 왜 비공개 LLM을 심판으로 쓰는 걸까? 비공개 모델 제공사는 평가 트래픽을 보고 원하는 대로 조정할 수 있음.
미국 연구소에 이렇게까지 아부하는 모습은 민망함. 해당 모델들은 출시 직후 며칠만 제 성능을 내는데, 가중치 공개 모델은 비공개 모델과 달리 품질이 그대로 유지됨을 보장할 수 있음. 시간이 좀 지난 뒤 다시 평가해 보면 어떨까?
제삼자의 미세조정으로 오히려 좋아질 수도 있음.
성능은 KV 캐시 같은 설정에 크게 좌우되므로, 모든 것을 직접 실행하고 평가하지 않으면 실제로 무엇을 제공받는지 알기 어려움. 직접 그렇게 하지는 않을 것임. 오히려 가중치 공개 모델 호스팅 업체는 잃을 평판이 없어 무능이나 악의로 성능을 떨어뜨릴 가능성이 더 큼.
Artificial Analysis가 미국 모델을 상위에 올리도록 벤치마크를 바꾸는 것은 꽤 명백해 보이며, 이번이 처음도 아님. 현재 여러 모델의 순위가 납득되지 않음. 백엔드 작업에서 GLM 5.3은 Astra보다 훨씬 낫고, Astra는 기묘하고 말도 안 되는 버그를 만듦. 벤치마크 팀이 벤처캐피털 자금을 받으면 이런 일이 생김.
가장 납득하기 어려운 것은 Haiku 5.5가 Kimi K3.1을 제외한 모든 가중치 공개 모델보다 낫다는 결과임. 양쪽을 3분 넘게 써본 사람이라면 별도 설명 없이도 사실이 아니라는 것을 알 것 같음.
프런트엔드 UI에서는 특히 GLM 5.3이 Astra보다 압도적으로 나음. 수학처럼 정답을 검증할 수 있는 어려운 분야에서 Astra가 앞서는 것은 납득할 수 있음. 하지만 이제 지능 점수는 물론 ‘포화되지 않은 최첨단 실전 벤치마크’조차 실제 사용을 반영하지 못하는 단계에 온 듯함.
다국어 지표의 언어 선정이 이상하고 편향적으로 보임. 아시아 언어는 폭넓게 담으려 했으면서 유럽 쪽에는 로망스어만 네 개 정도 들어감. 러시아어 같은 슬라브어, 스웨덴어 같은 북유럽 언어, 핀우그리아어 계열은 하나도 없음. 선정된 로망스어들은 학습 데이터에서도 이미 과도하게 대표될 가능성이 큼.
“GLM-5.3 (max)이 32점으로 가장 높고, Claude Haiku 5.5 (max)는 이들 모두보다 높다”는 결과는 믿기 어려움.
여전히 DS-flash를 사용 중임. 코드 품질은 충분하면서 속도와 비용은 최첨단 모델보다 나음. 실행 환경과 모델에 주는 제약에 따라 다르지만 대부분의 작업에 잘 맞아 몇 주째 다른 모델로 바꾸지 않고 있음. 예전에는 무거운 작업에 Opus를 썼지만 최근에는 그마저 그만둠.
내 실행 환경은 여러 계층의 AGENTS.md와 SOUL.md로 구성하며, 더 명확한 소통을 위해 “grug brain developer”와 “asd-ste100” 방식의 표현을 담아 둠.
내게는 DS Flash의 품질이 크고 복잡한 작업을 맡기기에 여전히 부족함. DS가 크게 개선됐지만 훨씬 적은 토큰으로 제대로 처리하는 Opus 5.5를 선호함. DS는 가끔 “흠… 흐음…”만 반복하는 사고 루프에 빠지기도 해서, 30분 뒤 확인하면 어이가 없어 웃기기도 함.
AA가 편향됐거나 매수됐거나 평가를 조작하는 것이든, 중국 모델이 벤치마크 점수 극대화에 치중한 것이든, 아니면 둘 다일 수도 있음.
음모론 같기는 하지만, Mimo 2.6 Flash 평가를 몇 주 미루는 동안 GPT-6 Luna가 파레토 최적 경계에 남아 있던 것을 보고 편향을 의심하게 됨. Mimo 2.6 Flash는 Luna보다 하루 먼저 출시됐는데, 뒤늦게 평가하자 Luna를 밀어냄.
벤치마크 점수 극대화는 분명 존재하지만 모든 연구소가 하지 않는다면 오히려 놀라울 것임. 벤치마크 성능을 비교하지 않고 이전 모델보다 개선됐는지 어떻게 알 수 있을까?
‘benchmaxxed’처럼 정의도 분명한 의미도 없는 표현을 쓰면 무엇을 뜻하는지 알기 어려움. 이번 변화로 중국 모델의 상대적 위치가 크게 달라진 것 같지도 않음. 중국은 한두 달에서 몇 달 뒤처져 있고, 지능 수준의 변화가 워낙 빨라 6개월 뒤 상위 10개는 완전히 달라질 것임. 그때도 미국과 중국 모델이 섞여 있고 미국 모델이 앞설 것으로 예상함.