물리 기반 기초 모델: 대규모 신경망의 고정된 하드웨어 구현

기초 모델 (Foundation models) 은 방대한 데이터셋을 학습하여 텍스트 및 코드 생성, 질문 답변, 요약, 이미지 분류 등 다양한 하류 작업을 수행할 수 있는 심층 신경망 (예: GPT-5, Gemini3, Opus4) 입니다. 기초 모델의 철학은 여러 하류 작업에 적응될 수 있도록 단일의 대규모 (~10^12 파라미터) 범용 모델에 노력을 집중하고, 추가 학습 없이 또는 최소한의 추가 학습으로 이를 다양한 작업에 적용하는 것입니다. 우리는 기초 모델의 등장이 하드웨어 엔지니어들에게 기회를 제시한다고 주장합니다. 과거에는 다른 작업을 위해 다른 모델을 사용했지만, 이제는 주요 새로운 기초 모델 버전이 약 1 년 주기로 출시되는 것과 유사한 주기로 신경망의 특수 목적 고정 하드웨어 구현을 구축하는 것이 타당해졌습니다. 읽기 전용 가중치 메모리를 갖춘 기존 디지털 전자 추론 하드웨어를 넘어, 우리는 더 급진적인 재고찰을 옹호합니다. 즉, 신경망을 물리 설계 수준에서 직접 구현하고 하드웨어의 자연스러운 물리 역학을 통해 작동하는 하드웨어입니다. 이를 extit{물리 기반 기초 모델} (Physical Foundation Models, PFMs) 이라 합니다. PFM 은 에너지 효율성, 속도, 파라미터 밀도 측면에서 수배 이상의 장점을 제공할 수 있습니다. ~10^12 파라미터 모델의 경우 이는 데이터센터 내 AI 의 높은 에너지 부담을 줄이고, 현재는 훨씬 작은 모델로만 제한된 전력 제약이 있는 엣지 디바이스에서 AI 를 가능하게 할 것입니다. PFM 은 또한 현재 모델보다 훨씬 큰 모델에 대한 추론 하드웨어를 가능하게 할 수도 있습니다: 일부 측정 기준에 따르면 10^15 또는 심지어 10^18 파라미터의 PFM 이 실현 가능해 보입니다. 우리는 광학 예시인 3 차원 나노 구조화 유리 매질을 사용하여 PFM 스케일링을 보여주는 대략적인 계산을 제시하고, 나노 전자공학과 기타 물리 플랫폼에서의 전망을 논의합니다. 우리는 삼조 파라미터 이상의 PFM 과 그 이상을 현실로 만들기 위해 해결해야 할 주요 연구 과제를 결론으로 다룹니다.