아이디어: CPU에서 디코딩 속도는 전체 파라미터가 아닌 토큰당 활성 파라미터에 따라 결정됩니다
요약
CPU 환경에서 디코딩 속도는 전체 파라미터가 아닌 토큰당 활성 파라미터에 의해 결정된다는 이론을 제시합니다. MoE(Mixture of Experts)나 ternary weights를 활용해 모델 용량을 키워도 속도 저하 없이 확장 가능한 아키텍처 설계 가능성을 논합니다.
핵심 포인트
- CPU 디코딩 속도는 메모리 대역폭과 토큰당 활성 파라미터에 비례함
- 전체 파라미터 수가 아닌 활성 파라미터가 생성 속도의 핵심 변수
- MoE 및 세분화된 구조를 통해 속도 저하 없는 모델 확장 가능
- 모델 용량 확장에 따른 전문가 라우팅 효율성 문제 제기
CPU에서는 배치 1이 메모리 대역폭(memory bandwidth)의 한계에 도달합니다. 하지만 만약 토큰/초 = 대역폭 / (가중치당 바이트 * 토큰당 활성 가중치)라면, 전체 파라미터 수가 생성 속도를 늦추지 않습니다. 따라서 작은 배치 크기의 '토큰당 활성 파라미터'(ternary weights 및 세분화된 MoE를 중심으로)를 기반으로 아키텍처를 구축한다면, 총 용량은 속도에 영향을 주지 않으면서 성장할 수 있습니다.
이제 새로운 문제가 발생합니다. 만약 속도가 문제가 아니라면 (105M 모델과 206M 모델이 동일한 tok/s로 실행된다고 가정 (예측: 739–1309 tok/s)), 모델 용량은 파라미터 수에 따라 확장될까요, 아니면 전문가(expert)를 통한 라우팅 용량 부족 때문에 모델이
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0