GPT급 1T 모델을 처음부터 학습시키는 데 필요한 비용과 자원

GPT급 1조(1T) 모델을 처음부터 학습시키려면, 실패한 실행 과정 포함, 데이터 확보+정제+RLHF(인간 피드백 기반 강화학습), 후속 훈련(post-training)까지 고려했을 때, 팀/인력은 공격적인 34개월 일정으로 $250M의 컴퓨팅 자원(즉, 더 많은 예약된 GPU)을 필요로 할 것입니다. 만약 밀집형(dense) 모델을 만든다면 총 $500600M이 필요합니다. MoE(Mixture of Experts) + fp8을 사용하면 활성 파라미터 수에 따라 비용을 1/10 수준으로 절감할 수 있습니다. 하지만 SOTA(State-of-the-Art)를 원한다면, 테스트 시간 컴퓨팅, 후속 훈련 RL, 데이터/합성 생성 등에서 예산이 상당히 높아지며, 특히 인재(talent)에 대한 요구가 매우 높습니다. 어쩌면 총 $24B까지 필요할 수 있습니다. 그 이후에는 모델 서비스 단계가 남습니다. SOTA에 도달하거나 능가하는 데 핵심은 인재이며, 그런 다음 시간이 지남에 따라 추론량(inference vol)을 확보하여 유용성을 보장해야 합니다. 이 경우 자본은 사용 사례/TAM(Total Addressable Market)이 있을 때 들어오게 됩니다. 따라서 이는 OP가 말하는 것처럼 $5060B를 모금하거나 한 번에 모두 모금하는 것에 관한 것이 아닙니다. 저희는 mistral, sarvam, reflection, anthropic 등에 투자하고 있으며, 이들 모두 모델 채택에 따라 자본을 점진적으로 확장해 왔습니다. 하지만 초기 병목 현상은 흥미로운 작업을 수행할 수 있는 규모에서의 인재와 GPU에 더 가깝습니다.