AI 모델이 수조(trillion) 개의 매개변수 임계점을 넘어서면서, 개발자와 인프라 엔지니어들은 상당한 규모 확장 난관에 직면하고 있습니다. 전통적인 분산 학습 및 추론 방식은 종종 복잡한 모델 병렬성(model parallelism)에 의존하는데, 이는 구현하고 최적화하기 어려울 수 있습니다. Cerebras의 기술 개요(https://www.cerebras.ai/blog/how-we-deploy-trillion-parameter-frontier-models-on-cerebras)는 이러한 '프론티어(frontier)' 모델을 배포하기 위한 대안적인 접근 방식인 가중치 스트리밍(Weight-Streaming) 아키텍처를 설명합니다.
메모리 벽의 난제 (The Challenge of the Memory Wall)
표준 GPU 기반 배포는 일반적으로 텐서 병렬성(tensor parallelism)이나 파이프라인 병렬성(pipeline parallelism)과 같은 기술을 사용하여 모델을 여러 칩에 분할해야 합니다. 이는 '메모리 벽(memory wall)'이라는 현실, 즉 수조 개 매개변수 가중치(테라바이트의 스토리지를 요구함)가 단일 액셀러레이터의 로컬 고대역폭 메모리(High-Bandwidth Memory, HBM)에 들어갈 수 없기 때문에 발생합니다.
Cerebras 블로그에 따르면, 기존 병렬성은 개발자가 클러스터 전반에 걸쳐 레이어를 어떻게 분할할지 수동으로 관리해야 하므로 상당한 통신 오버헤드와 코드 복잡성을 초래합니다.
가중치 스트리밍 메커니즘 (Weight-Streaming Mechanics)
Cerebras의 웨이퍼 규모 엔진은 전체 모델을 외부 DRAM 풀에 저장하고, 각 레이어 실행 시 필요한 가중치 타일(weight tiles)을 온칩 컴퓨트 패브릭(on-chip compute fabric)으로 적시에 스트리밍합니다. 핵심 아이디어는 다음과 같습니다:
- 분리된 저장소(Decoupled storage): 가중치(Weights)는 칩 외부(off-chip)에 저장되며 필요할 때 가져와 사용하므로, 네트워크 구조를 변경하지 않고도 온칩 메모리보다 큰 모델을 실행할 수 있게 합니다.
- 스트리밍 및 오버랩(Streaming and overlap): 한 레이어(layer)가 계산되는 동안 다음 레이어의 가중치 타일(weight tiles)이 백그라운드에서 스트리밍되어 유휴 시간을 줄입니다.
- 온칩 활성화 값(On-chip activations): 활성화 값은 온칩 메모리 계층 구조에 유지되어 순전파(forward pass)와 역전파(backward pass) 모두 고속 접근성을 보존합니다.
- 그래디언트 감소(Gradient reduction): 역전파가 완료된 후, 그래디언트는 온칩에서 누적되고 최적화기 업데이트를 위해 외부 메모리에 기록됩니다.
Cerebras는 가중치 스트리밍이 동일한 웨이퍼 규모(wafer-scale) 하드웨어로 수백억 개에서 1조 개 이상의 매개변수(parameters)에 이르는 모델을 소프트웨어 스택의 사소한 변경만으로 실행할 수 있게 한다고 보고합니다. 해당 블로그는 같은 하드웨어에서의 순진한 모델 병렬 배포(naïve model-parallel deployments)와 비교하여 상당한 확장성 개선을 언급하지만, 모든 차원에서 엄격한 근접 선형 스케일링(near-linear scaling)을 주장하지는 않습니다.
미해결 질문 (Open Questions)
- GPU 클러스터 적용 가능성: 가중치 스트리밍 설계는 Cerebras의 웨이퍼 규모 엔진에 고유한 초저지연, 고대역폭 인터커넥트(interconnects)를 활용합니다. InfiniBand 또는 NVLink에 의존하는 기존 분산 GPU 클러스터에서 동일한 효율성을 얼마나 달성할 수 있는지는 여전히 미해결 연구 질문입니다.
- 소프트웨어 이식성: Cerebras가 자체 프로그래밍 모델을 제공하지만, 가중치 스트리밍 추상화(weight-streaming abstractions)를 독점 확장 없이 주류 프레임워크(예: PyTorch, JAX)에 어느 정도 매핑할 수 있는지는 아직 조사 중입니다.
고지 사항: 이 기사는 AI의 도움을 받아 작성되었습니다. 기술적 세부 사항과 주장은 Cerebras가 제공한 자료를 기반으로 합니다.