RTX 4090에서 로컬로 의사 결정 모델을 실행하여 속도를 비교한 결과

최근 지난 2주 동안 갑자기 여러 개의 오픈 의사 결정 모델(laya, liquid의 d1, cloudflare의 clef-flash, interfaze의 lev)이 등장하는 것을 보고, 동일한 GPU에서 이들이 실제로 얼마나 차이가 나는지 알아보고 싶었습니다 (물론 모델 크기가 큰 요인이지만, 유일한 요인은 아닙니다). 네 가지 모델 모두 지네에 관한 9개의 위키피디아 기사(9,534단어)를 단어별로 읽고, 지네의 이름을 언급하는 모든 단어를 표시하는 동일한 작업을 수행했습니다. 매 단어마다 /v1/systemone 호출이 발생했으며, 다음 단어가 도착하면 즉시 응답을 요청했습니다: {"state": "Word: \"Scolopendra\".", "questions": {"centipede": {"type": "noul", "instructions": "Does this word name a kind of centipede?"}}} 모델 가중치 엔진이 단어별로 사용되었습니다 (p50). 단어 수 대비 정확도, 지네 이름 포착 건수, 오답률을 비교했습니다.

laya와 d1이 속도 면에서 다른 모델들을 앞섰지만, 정확도에서는 그렇게 큰 차이가 나지 않았습니다 (네, 95%라고 말하지만,

하지만 결국 Laya가 전반적으로 가장 빠른 모델이며, 어떤 사용 사례에도 쉽게 파인튜닝할 수 있다는 점을 고려하면 이 조합이 제가 선택할 만한 최고의 구성이라고 생각합니다: GPU: 임대 RTX 4090 (드라이버 580.119.02, 32 vCPU) 엔진: llama.cpp b11495 (커밋 37ac63456, CUDA 12.8 릴리스 빌드), -ngl 99, 나머지 설정은 기본값 Laya, Clef-Flash: ggml-org GGUFs d1: 자체 AD-Q4_K_M 양자화(atomic.chat)를 사용하며, /v1/systemone에서 네이티브로 실행됩니다 (lfm2-d1 지원이 #30110에 포함된 이후). Lev: interfaze의 Qwen3.5-4B LoRA를 자체 lev serve에서 기본 설정(--compile never finished warming up)으로 사용합니다. 지연 시간(latency): 같은 박스에서 로컬호스트를 통해 Python 클라이언트가 제출한 종단 간(end to end) 측정값입니다 /u/Fun-Meaning-6474 [링크] [댓글]