Mixture-of-Experts가 소비자용 및 엣지 하드웨어의 추론에 실제로 도움이 되는가? 실증적 연구

Mixture-of-Experts (MoE) 언어 모델은 종종 자원이 제한된 추론 환경에 이상적인 것으로 묘사됩니다. 각 토큰은 전문가(experts)의 작은 하위 집합만을 활성화하므로, 부동 소수점 연산(FLOPs) 기준 토큰당 계산 비용은 훨씬 더 작은 밀집 모델(dense model)과 유사합니다. 이러한 FLOP 이점이 실제로 유지되는지는 훨씬 불분명합니다. 우리는 MoE 모델이 소비자용 및 엣지 하드웨어에서 유사한 밀집 모델보다 실제로 더 빠르고 저렴하게 실행되는지 질문합니다. 우리는 Apple M2 Pro와 NVIDIA Jetson Orin Nano 8 GB 환경에서 llama.cpp를 통해 OLMoE-1B-7B (총 6.9 B 중 1.3 B 활성)를 세 가지 밀집 베이스라인과 비교 벤치마킹하여 처리량(throughput), 메모리, 온디바이스 에너지(on-device energy)를 측정했습니다. 결과는 장치에 따라 달랐습니다. OLMoE의 활성 파라미터 이점은 노트북에서 부분적으로만 실현되었으며(동일 활성 파라미터를 가진 Llama-3.2-1B보다 약 10% 뒤처짐), 엣지 장치에서는 더욱 악화되었습니다(Llama-3.2-1B보다 약 31% 뒤처지며, 토큰당 에너지는 2.1배 높고, 피크 메모리는 8 GB 한계치에 도달). 디코드 그래프(decode graph)를 노드별로 측정하기 위해 llama.cpp를 패치하여 분석한 결과, 더 깔끔한 엣지 백엔드에서 라우팅(routing)이 MoE 블록 계산의 9% 미만을 차지함을 보여주었습니다. 따라서 그 격차는 라우팅보다는 전체 파라미터 메모리 점유(memory footprint), 전문가 디스패치(expert dispatch), 그리고 KV-캐시(KV-cache) 압박을 반영합니다. 이는 대역폭 제한(bandwidth-bound)이 있는 엣지 하드웨어에서 추론 비용은 활성 파라미터가 아닌 전체 파라미터를 따른다는 점과, 희소 활성화(sparse activation)가 장치의 제약 요소를 상쇄해주지 못한다는 점을 시사합니다. 이러한 발견은 이 파라미터 규모의 한 가지 MoE 모델과 두 개의 장치로 제한되며, 우리는 전체 측정 하네스(measurement harness)와 실행별 데이터를 공개합니다.