Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본문은 오픈소스 모델의 성능 저하에 대한 의문을 제기하며, SciCode 가중치 변경 및 FrontierCode 2.0 추가 등 벤치마크 변화를 설명합니다. 또한, 중국 모델들의 과학 분야 성능 부족과 다양한 테스트 하네스 사용으로 인한 평가 일관성 문제를 지적하고 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X 토픽: OpenAI/GPT/Codex의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기오픈소스 모델의 점수가 급격히 낮은가요? 그 이유를 살펴보겠습니다:
SciCode는 이전에 10%의 가중치를 받았으나, 이는 Terminal-Bench-Science로 대체되어 15%의 가중치를 받았습니다. FrontierCode 2.0도 방금 추가되었습니다(오늘 제가 게시한 것). 그리고 15%의 가중치가 부여되었습니다.
첫째, 중국 모델들은 과학 분야에서 터무니없이 성능이 떨어집니다. 저는 이들이 제대로 훈련조차 되지 않았다고 생각합니다. 최근 초점은 주로 코딩 및 컴퓨터 사용과 관련된 에이전트적 작업(agentic tasks)에 맞춰져 있었습니다. 따라서 가중치 이동은 당연히 하향 조정되었습니다. 중국은 과학 분야에서 훨씬 더 잘해야 합니다. 미국이 폐쇄한 최첨단 모델들이 훨씬 앞서 있다는 것은 부인할 수 없습니다.
둘째, 저는 FrontierCode 2.0에 대해 개인적인 편견을 가지고 있습니다. 왜 모든 모델들이 다른 하네스(harnesses)를 사용하나요? 변수를 동일하게 유지하지 않나요? 오픈소스 모델에는 Devin CLI를 사용하면서도, Fable 5.1/Opus 5.5/Sonnet 5.5에서 Claude Code를 사용하고 GPT 모델과 Codex를 사용하는 등 혼재되어 있습니다🤦♂️ 다른 하네스에 대해서도 테스트했나요? 예를 들어, 모델에 최적화된 DEEPSEEK HARNESS에서 DeepSeek V4.1 Flash(혹시 1017인가요?)를 사용한 것처럼 말입니다.
Open weights models fall further behind in v5. The leader, Kimi K3.1 Pro (weights not yet released), scores 46, 12 points behind the leader, compared with a 3-point gap in v4.3. Of models with released weights, DeepSeek V4.1 Flash 1017 (max) and GLM-5.3 (max) score highest at 32, and Claude Haiku 5.