하드웨어: Intel Core Ultra 7 155U (Meteor Lake), Intel Arc iGPU (4 Xe-cores, UMA 공유 메모리), 16 GB LPDDR5x, Windows 11. 모델: Gemma-4 E2B (llama.cpp: Q4_K_M GGUF; LiteRT-LM: auto-int4 .litertlm). 매트릭스 코어(matrix cores)가 없는 Intel Arc iGPU에서 Google의 LiteRT-LM (WebGPU / ML-Drift 백엔드)과 llama.cpp (Vulkan 백엔드) 간의 직접적인 비교를 수행했습니다. 프롬프트 처리(prefill / 첫 번째 토큰 생성 시간(time-to-first-token))에 대한 LiteRT-LM의 결과는 놀라웠으며, 긴 컨텍스트(context)에서 프롬프트 대기 시간을 2분 이상 단축했습니다.

1. 프롬프트 프리필 (Prompt Prefill, 첫 번째 토큰 생성 시간(TTFT)) — LiteRT-LM 압도 (최대 3.5배 빠름)

32k 컨텍스트에서 llama.cpp가 3.5분이 걸리는 동안 LiteRT-LM은 80초 만에 첫 번째 토큰에 도달합니다.

2. 디코딩 속도 (Decode Speed)

(참고: 최근 릴리스에서 수정된 추측적 디코딩(spec decoding) 버그가 있었습니다. 어쨌든 LiteRT에서는 추측적 디코딩이 도움이 되지 않는 것으로 보입니다.)

정확한 재현 가능 명령어 (Exact Reproducible Commands)

# llama.cpp (Vulkan)
lama-bench -m gemma-4-E2B-it-Q4_K_M.gguf -ngl 999 -p 4096 -n 0 -b 4096 -ub 512 -fa off -r 5

# LiteRT-LM (WebGPU)
litert-lm benchmark gemma-4-E2B-it.litertlm --backend=gpu -p 4096 -d 0 --cache disk
litert-lm benchmark gemma-4-E2B-it.litertlm --backend=gpu -p 8192 -d 0 --cache disk

/u/hi-brawlstars에 의해 제출됨