LiteRT-LM, Intel Arc iGPU에서 llama.cpp보다 최대 3.5배 빠름 (Gemma-4 E2B 벤치마크)

요약

Intel Arc iGPU 환경에서 Google의 LiteRT-LM과 llama.cpp의 성능을 비교한 벤치마크 결과입니다. LiteRT-LM은 Gemma-4 E2B 모델 사용 시 llama.cpp보다 프롬프트 처리 속도에서 최대 3.5배 빠른 성능을 보여주었습니다.

핵심 포인트

• LiteRT-LM은 Intel Arc iGPU에서 llama.cpp 대비 압도적인 TTFT 성능 기록
• 32k 컨텍스트 기준 프롬프트 대기 시간을 약 2.1분 단축
• WebGPU 백엔드를 활용한 LiteRT-LM의 효율적인 프롬프트 프리필 성능 확인
• 디코딩 속도 측면에서는 llama.cpp + MTP 조합이 더 우세함