GLM-5.2는 로컬 AI의 승리입니다

GLM 5.2의 거대한 753B 규모 때문에 엔터프라이즈 클러스터 없이는 우리 중 누구도 집에서 실행할 수 없다는 점은 알고 있지만, 진정한 프론티어(Frontier) 수준의 MIT 라이선스 코딩 에이전트가 세상에 나왔다는 사실은 저를 낙관적으로 만듭니다. 여기서의 증류(Distillation) 잠재력은 엄청납니다. 커뮤니티가 GLM 5.2의 추론(Reasoning) 및 합성 데이터셋(Synthetic datasets)을 기반으로 더 작은 8B 및 70B 아키텍처를 미세 조정(Fine-tuning)하기 시작하면, 우리의 일상적인 로컬 설정은 향후 몇 달 동안 엄청난 개선을 보게 될 것입니다.

수정: 이렇게 많은 분들이 로컬 하드웨어에서 실행할 수 있다고 말씀하실 줄 몰랐습니다. 여기 데이터 사양(Data spec)이 있습니다:

양자화 수준 (Quantization Level) | 필요한 메모리 (Memory Required) | 최소 하드웨어 구성 (Minimum Hardware Setup)

FP8 가중치 (Weights) | 744 GB ~ 890 GB | 8x H200 (141GB) 또는 8x H100 (80GB) 서버 노드
4-bit (Q4_K_M) | 476 GB ~ 500 GB | Mac Studio 클러스터 또는 6x 80GB 엔터프라이즈 GPU
2-bit (Q2_K_XL) | 241 GB ~ 280 GB | 단일 256GB Mac Studio (Ultra) 또는 RTX 4090 + 256GB 시스템 RAM
1-bit Dynamic | 176 GB ~ 180 GB | 192GB Mac Studio 또는 24GB GPU + 192GB 시스템 RAM

모델 및 데이터셋 정보 (Model & Dataset Facts)

사전 학습 데이터 (Pre-Training Data): 28.5조(trillion) 토큰의 코퍼스(Corpus)로 학습되었습니다.
아키텍처 규모 (Architecture Scale): 총 753B 파라미터, 추론(Inference) 중 토큰당 약 40B 파라미터 활성화.
컨텍스트 용량 (Context Capacity): 기본적으로 1,000,000 토큰 컨텍스트 윈도우(Context window)와 응답당 최대 131,072 출력 토큰을 지원합니다.

KV 캐시 VRAM 스케일링 (100k / 1M 토큰당)
1M 컨텍스트 윈도우를 활용하려면 오직 KV 캐시만을 위해 상당한 추가 VRAM이 필요합니다. 이 스케일링은 전적으로 캐시 양자화(Cache quantization)에 따라 달라집니다:

16-bit (FP16/BF16): 100k 토큰당 15–20 GB 추가 (~전체 1M 컨텍스트의 경우 약 150–200 GB 추가).
8-bit (FP8/INT8): 100k 토큰당 7.5–10 GB 추가 (~전체 1M 컨텍스트의 경우 약 75–100 GB 추가). 이는 정확도와 메모리의 균형을 맞춥니다.
4-bit (INT4): 100k 토큰당 3.5–5 GB 추가 (~전체 1M 컨텍스트의 경우 약 35–50 GB 추가). 메모리 요구 사항을 획기적으로 낮추지만, 긴 컨텍스트 검색(Long-context retrieval) 정확도를 저하시킬 수 있습니다.

참고: 저는 이 정보를 온라인에서 수집했으며 이는 추정치입니다.

완전한 투명성을 위해 말씀드리자면, 저는 표를 생성하고 데이터를 분류하는 데 AI를 사용했습니다. 이 모든 것을 직접 포맷팅할 만큼의 편집 인내심이 부족합니다... 저도 인간이니까요!
제출자: /u/Wrong_Mushroom_7350
[링크] [댓글]