대규모 언어 모델 (LLM) 스케일링 지수의 작음에 대하여

요약

LLM 스케일링 지수가 에너지 측면에서 지속 불가능한 이유를 분석합니다. 데이터의 한계로 인한 수치적 편향 문제를 지적하며, 유체 난류 모델을 통해 데이터의 매끄러움이 스케일링 지수에 미치는 영향을 논의합니다.

핵심 포인트

• LLM 스케일링 지수의 에너지 지속 불가능성 논의
• 수치적 편향(pedestal effect)이 해결책이 될 수 없음을 증명
• 유체 난류 모델을 통한 데이터 매끄러움과 스케일링의 관계 분석