GPT-4가 18개월 동안 ECI를 이끌었으며, 이는 가장 긴 통치 기간입니다. GPT-4o와 Claude 3.5 Sonnet이 2024년 9월에 이 기록을 깨뜨렸습니다.

GPT-4는 18개월 동안 Epoch AI Compute Index (ECI)를 선도했습니다. 다른 어떤 모델도 그렇게 오랫동안 정상의 자리를 지키지 못했습니다.

주요 사실

• GPT-4는 2023년 3월부터 18개월 동안 ECI를 선도했습니다
• GPT-4는 약 1.8조 개의 파라미터(parameters)를 가진 것으로 추정됩니다
• GPT-4o가 2024년 9월에 이를 추월했습니다
• Claude 3.5 Sonnet 또한 2024년 9월에 이를 추월했습니다
• ECI는 유효 학습 연산량(effective training compute)만을 측정합니다

GPT-4는 2023년 3월 출시부터 2024년 9월까지 18개월 동안 Epoch AI Compute Index (ECI)에서 정상의 위치를 지켰습니다. 이는 대규모 언어 모델(large language model)을 학습시키는 데 사용된 유효 연산량(effective compute)을 측정하는 이 지표에서 어떤 모델도 달성하지 못한 가장 긴 기간입니다.

ECI는 하드웨어 및 알고리즘 효율성을 정규화하여, 학습 실행의 총 FLOP 상당치(FLOP-equivalent)를 나타내는 단일 수치를 제공합니다. GPT-4의 지배력은 약 1.8조 개의 파라미터(parameters)로 추정되고 약 13조 개의 토큰(tokens)으로 학습되었다는 규모뿐만 아니라, 해당 기간 동안 경쟁 모델들의 출시 속도가 느렸음을 반영합니다.

핵심 요약

• GPT-4는 18개월 동안 ECI를 선도했으며, 이는 가장 긴 통치 기간입니다.
• GPT-4o와 Claude 3.5 Sonnet이 2024년 9월에 이 기록을 깨뜨렸습니다.

기록을 깨뜨린 것

OpenAI의 GPT-4o와 Anthropic의 Claude 3.5 Sonnet 모두 2024년 9월 ECI에서 GPT-4를 추월했습니다. 그 이후로 지표에는 더 많은 변동이 있었습니다. Gemini 3 Pro, GPT-5.3-Codex-Spark와 같은 모델들이 정상의 자리를 주고받았습니다. 하지만 그 어떤 모델도 몇 달 이상 선두를 유지하지는 못했습니다.

이 18개월간의 통치는 AI 분야 전반이 단순한 스케일링 (scaling)에서 전문가 혼합 (mixture-of-experts, MoE) 아키텍처, 사고의 사슬 (chain-of-thought, CoT) 추론, 그리고 멀티모달 (multimodal) 학습으로 전환되던 시기를 포괄한다는 점에서 주목할 만합니다. GPT-4는 밀집형 트랜스포머 (dense transformer)였으나, 그 후속 모델들은 점차 희소 활성화 (sparse activation) 및 사후 학습 컴퓨팅 스케일링 (post-training compute scaling)을 사용하고 있습니다.

ECI가 놓치는 것

이 지수는 학습 컴퓨팅 (training compute)만을 측정할 뿐, 추론 컴퓨팅 (inference compute), 데이터 품질, 또는 인간 피드백 기반 강화학습 (reinforcement learning from human feedback, RLHF)과 같은 사후 학습 기술은 측정하지 않습니다. 더 나은 데이터 큐레이션 (data curation)이나 알고리즘의 발전 등을 통해 학습 컴퓨팅을 적게 사용하면서도 대등한 결과를 달성하는 모델은, 실제 성능이 동일하더라도 ECI 점수는 더 낮게 나올 것입니다. Epoch AI는 과거 방법론 논문에서 이러한 한계를 인정한 바 있습니다.

그럼에도 불구하고, 이 지표는 AI 학습 규모를 나타내는 가장 널리 인용되는 대리 지표 (proxy)로 남아 있습니다. GPT-4가 정상의 자리를 오랫동안 유지했다는 점은, 이 분야의 무게 중심이 학습 규모에서 추론 시점의 추론 (inference-time reasoning) 및 데이터 전략으로 얼마나 많이 이동했는지를 강조합니다.

주목해야 할 점

수주 내에 발표될 것으로 예상되는 Epoch AI의 다음 ECI 업데이트를 주목하십시오. 만약 Gemini 3 Pro 또는 GPT-5.3-Codex-Spark가 3개월 이상 정상의 자리를 유지한다면, 이는 추론 시점의 방법론보다 학습 규모 경쟁으로 다시 회귀함을 의미할 것입니다.

출처: news.google.com

원문 게시: gentic.news