
가장 작은 모델이 SOTA보다 더 빠르게 개선하는 현상?
요약
본 기사는 AI 성능 비교 시 절대적인 점수(SOTA)보다 변화율(Rate of Change, RoC)에 주목해야 한다고 주장합니다. 특히 오픈 웨이트 코딩 모델의 개선 속도가 매우 빠르며, 클로즈드 프론티어와의 격차를 빠르게 줄이고 있음을 데이터와 그래프를 통해 보여줍니다.
핵심 포인트
- AI 성능 비교는 절대 점수보다 변화율(RoC)에 집중해야 합니다.
- 오픈 웨이트 코딩 모델의 개선 속도가 매우 빠릅니다.
- 클로즈드 프론티어와의 격차를 빠르게 줄이고 있습니다.
올해 읽은 모든 AI 헤드라인은 같은 숫자를 보고합니다. 누가 앞서 나가느냐는 것입니다. Claude Opus, 88.6. GPT-5.5, 88.7. 이는 업계에서 가장 많이 인용되는 통계이자 가장 쓸모없는 통계입니다. 왜냐하면 선두 주자는 과거에 대한 사실일 뿐이기 때문입니다. 아무도 인용하지 않는 더 의미 있는 숫자는 변화율(Rate of Change, RoC): 기울기입니다. 2024년 12월 기준, 소비자 GPU 하나에 탑재 가능한 최고의 오픈 웨이트 코딩 모델은 SWE-bench Verified에서 20.6점을 기록했습니다. 현재는 77.2점을 기록하고 있습니다. 여전히 클로즈드 프론티어(closed frontier)보다 18.3점 낮지만, 보드의 다른 어떤 것보다도 이 거리를 빠르게 줄이고 있습니다: 클로즈드 프론티어 대비 월 2.73점 대 1.83점... https://preview.redd.it/4emhf6wml6ch1.jpg?width=1143&format=pjpg&auto=webp&s=3beee52b7a50062fd2cc325d154cc93b05a428ae 오픈 대 클로즈드 모델 개선 추세 실시간 대시보드 /u/toadlyBroodle이 r/LocalLLaMA에 제출한 오픈 대 클로즈드 모델 트렌드 전체 분석 [링크] [댓글]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/OpenAI Codex (search)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기