아이디어: CPU에서 디코딩 속도는 전체 파라미터가 아닌 토큰당 활성 파라미터에 따라 결정됩니다

요약

CPU 환경에서 디코딩 속도는 전체 파라미터가 아닌 토큰당 활성 파라미터에 의해 결정된다는 이론을 제시합니다. MoE(Mixture of Experts)나 ternary weights를 활용해 모델 용량을 키워도 속도 저하 없이 확장 가능한 아키텍처 설계 가능성을 논합니다.

핵심 포인트

• CPU 디코딩 속도는 메모리 대역폭과 토큰당 활성 파라미터에 비례함
• 전체 파라미터 수가 아닌 활성 파라미터가 생성 속도의 핵심 변수
• MoE 및 세분화된 구조를 통해 속도 저하 없는 모델 확장 가능
• 모델 용량 확장에 따른 전문가 라우팅 효율성 문제 제기