Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
1T 규모의 GPT급 모델을 학습시키기 위해 필요한 막대한 컴퓨팅 자원과 인적 자본의 규모를 분석합니다. MoE 기술을 통한 비용 절감 가능성과 SOTA 달성을 위한 단계별 자본 투입 전략을 다룹니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X 토픽: Claude/Anthropic의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기GPT급 1조(1T) 모델을 처음부터 학습시키려면, 실패한 실행 과정 포함, 데이터 확보+정제+RLHF(인간 피드백 기반 강화학습), 후속 훈련(post-training)까지 고려했을 때, 팀/인력은 공격적인 34개월 일정으로 $250M의 컴퓨팅 자원(즉, 더 많은 예약된 GPU)을 필요로 할 것입니다. 만약 밀집형(dense) 모델을 만든다면 총 $500600M이 필요합니다. MoE(Mixture of Experts) + fp8을 사용하면 활성 파라미터 수에 따라 비용을 1/10 수준으로 절감할 수 있습니다. 하지만 SOTA(State-of-the-Art)를 원한다면, 테스트 시간 컴퓨팅, 후속 훈련 RL, 데이터/합성 생성 등에서 예산이 상당히 높아지며, 특히 인재(talent)에 대한 요구가 매우 높습니다. 어쩌면 총 $24B까지 필요할 수 있습니다. 그 이후에는 모델 서비스 단계가 남습니다. SOTA에 도달하거나 능가하는 데 핵심은 인재이며, 그런 다음 시간이 지남에 따라 추론량(inference vol)을 확보하여 유용성을 보장해야 합니다. 이 경우 자본은 사용 사례/TAM(Total Addressable Market)이 있을 때 들어오게 됩니다. 따라서 이는 OP가 말하는 것처럼 $5060B를 모금하거나 한 번에 모두 모금하는 것에 관한 것이 아닙니다. 저희는 mistral, sarvam, reflection, anthropic 등에 투자하고 있으며, 이들 모두 모델 채택에 따라 자본을 점진적으로 확장해 왔습니다. 하지만 초기 병목 현상은 흥미로운 작업을 수행할 수 있는 규모에서의 인재와 GPU에 더 가깝습니다.