@SemiAnalysis_는 'Pretrainitis(사전 학습 중독)'를 허영심에 의한 낭비라고 지적하며, 프론티어 랩(Frontier labs)이 아닌 곳들에게 사전 학습(Pretraining)은 끝났다고 선언했습니다. 프롬프트 엔지니어링(Prompt engineering)이 더 높은 ROI(투자 대비 수익)를 제공합니다.

@SemiAnalysis_는 프론티어 랩(Frontier labs)이 아닌 곳들에게 사전 학습(Pretraining)은 끝났다고 선언했습니다. 기업과 스타트업들은 경력 쌓기를 위해 허영심에 기반한 사전 학습(Pretraining)을 추구하는 'Pretrainitis'로 고통받고 있습니다.

주요 사실

• 프론티어 조직(Frontier organizations)이 아닌 경우 사전 학습(Pretraining)의 ROI는 마이너스입니다.
• @SemiAnalysis_는 'Pretrainitis'라는 용어를 만들었습니다.
• 프론티어 랩(Frontier labs)에는 OpenAI, Google DeepMind, Anthropic이 포함됩니다.
• 분석에 따르면 프롬프트 엔지니어링(Prompt engineering)이 더 높은 ROI를 제공합니다.
• SemiAnalysis는 존경받는 AI 인프라 분석 기업입니다.

@SemiAnalysis_에 따르면, 거대 언어 모델(Large language models)의 사전 학습(Pretraining)에 대한 경제적 계산이 결정적으로 변화했습니다. 이 분석 기업은 이제 수천만 달러의 비용이 드는 사전 학습(Pretraining) 실행에 필요한 자본과 컴퓨팅 지출을 정당화할 수 있는 곳은 OpenAI, Google DeepMind, Anthropic과 같은 프론티어 랩(Frontier labs)뿐이라고 주장합니다.

해당 스레드는 "사전 학습(Pretraining)은 근본적으로 프론티어 랩(Frontier labs) 이외의 누구에게도 더 이상 말이 되지 않습니다"라고 명시합니다. 이들은 기업과 스타트업 전반에서 나타나는 광범위한 패턴을 식별했습니다. 즉, 팀들이 내부적으로 영향력을 입증하고 승진을 확보하기 위한 수단으로 자체 모델을 사전 학습(Pretraining)하려고 밀어붙이는 현상이며, 이 기업은 이를 'Pretrainitis'라고 명명했습니다.

진단은 냉혹합니다: "기업과 스타트업에는 '영향력'을 보여주고 승진하기 위해 'Pretrainitis'를 앓고 있는 사람들이 많지만, 근본적으로 그것은 말이 되지 않습니다." 대신, @SemiAnalysis_는 다른 방식의 자원 배분을 권장합니다. "사전 학습(Pretraining)만큼 '섹시'하지는 않더라도, 프론티어 랩(Frontier lab)과 파트너십을 맺고 프롬프트 엔지니어링(Prompt engineering)을 수행하는 것이 아마도 더 높은 ROI를 제공할 것입니다."

이러한 관점은 더 넓은 산업 트렌드와 일치합니다. 2025년에는 훈련 실행(training runs) 비용의 급격한 상승으로 인해, 여러 기업용 AI 프로젝트가 사전 학습(pretraining)에서 기존 프론티어 모델을 미세 조정(fine-tuning)하는 방향으로 선회했습니다. 예를 들어, Meta의 Llama 3.1 405B는 컴퓨팅 비용만으로도 약 6,000만 달러 이상이 소요된 것으로 추정됩니다. 프론티어 모델에 대한 API 접근 비용이 쿼리당 단 몇 센트에 불과한 상황에서, 프론티어급이 아닌 조직이 이러한 역량을 복제하는 것은 경제적으로 비합리적입니다.

'프리트레니티스 (Pretrainitis, 사전 학습 중독)'에 대한 비판은 스타트업 투자 역학으로도 확장됩니다. 벤처 캐피털(VC)들은 사전 학습에 치중하는 피칭에 회의적으로 변했으며, 기존 모델을 기반으로 애플리케이션을 구축하는 스타트업을 선호하고 있습니다. 여기서 얻을 수 있는 신호는 다음과 같습니다: 만약 당신의 스타트업의 핵심 해자(moat)가 프론티어 랩(frontier lab)이 구축하지 않은 사전 학습된 모델이라면, 당신의 런웨이(runway)는 훈련 에포크(training epoch)보다 더 짧을 수도 있습니다.

주목해야 할 사항

2026년 2분기 실적 발표(earnings calls)에서 기업용 AI 예산 할당을 주목하십시오. 특히 기업들이 API 기반의 미세 조정(fine-tuning)이나 프롬프트 엔지니어링(prompt engineering) 서비스를 위해 내부 사전 학습(pretraining) 지출을 줄이고 있다고 공개하는지 확인해야 합니다. Fortune 500 기업의 CFO가 직접 'Pretrainitis'라는 용어를 언급한다면 이 가설은 입증될 것입니다.

핵심 요약

• @SemiAnalysis_는 'Pretrainitis'를 허영심에 의한 낭비라고 지적하며, 프론티어 랩(frontier labs)이 아닌 곳에서의 사전 학습(pretraining)은 끝났다고 선언했습니다.
• 프롬프트 엔지니어링(Prompt engineering)이 더 높은 ROI를 제공합니다.

_ [12월 6일 업데이트, gn_dc_power 제공] _

The Information에 따르면, OpenAI는 Nvidia의 지원을 받아 오하이오주에 10기가와트 규모의 데이터 센터를 임대하기 위해 협상 중인 것으로 알려졌습니다. 이 시설에는 약 5,000억 달러의 투자가 필요할 것으로 추정되며 연방 정부 소유의 부지에 건설될 수 있습니다. 이러한 대규모 인프라 추진은 프론티어 랩이 아닌 곳에서 사전 학습(pretraining)이 경제성을 잃어가고 있음에도 불구하고, 선두 프론티어 랩들은 우위를 유지하기 위해 컴퓨팅 규모(compute scale)에 더욱 집중하고 있다는 점을 강조합니다.

원문 게시: gentic.news