대규모 언어 모델 (LLMs)의 온디바이스 (On-device) 배포는 개인화된 엣지 애플리케이션을 위해 필수적이 되었습니다. 주요 병목 현상은 피드포워드 네트워크 (FFN) 레이어에서의 외부 메모리 액세스 (EMA)입니다. Speculative decoding (추측적 디코딩)과 Mixture-of-Experts (MoE, 전문가 혼합)는 유망한 해결책입니다. Speculative decoding은 단계당 여러 토큰을 생성함으로써 디코딩 단계를 줄이고, MoE는 희소한 전문가 활성화 (sparse expert activation)를 통해 단계당 비용을 최소화합니다. 그러나 이 두 기술을 결합할 때 호환성 문제가 발생합니다. 우리는 이러한 호환성 문제를 해결하는 소프트웨어-하드웨어 공동 설계된 LLM 가속기인 EdgeXpert를 제안합니다. 프리필 (prefill) 단계에서, 프롬프트 단위의 전문가 재사용 (prompt-wise expert reuse)은 라우팅을 독립적인 토큰별 전문가 선택이 아닌 프롬프트 수준의 전문가 재사용으로 재구성합니다. 이는 경량 인코더를 사용하여 중요한 토큰을 식별하고, 이들로부터 공유 전문가 세트를 구축하며, 덜 중요한 토큰은 줄어든 전문가 예산으로 라우팅하여 전문가 EMA를 낮춥니다. 디코드 (decode) 단계에서는, 깊이 인식 전문가 병합 (depth-aware expert coalescing)이 동일한 깊이의 후보 토큰 간의 문맥적 유사성과 상호 배타성을 활용합니다. EdgeXpert는 필요한 모든 채널의 합집합을 로드하는 대신, 중요한 채널만 로드하고 추가적인 메모리 액세스 없이 정확도를 회복하기 위해 계산 보정 (computational calibration)을 적용합니다. Samsung 28nm 기술로 800 MHz에서 합성된 EdgeXpert는 기존 연구와 비교하여 베이스라인에 근접한 정확도를 유지하면서도 최대 56.3%의 지연 시간(latency) 감소와 44.1%의 에너지 감소를 달성합니다.