Qwen3.8-27B 벤치마크: 6개 추론 엔진, GGUF 대 NInfer, 256K 컨텍스트 — 속도와 품질 모두 비교

대부분의 LLM 추론 벤치마크는 tokens/sec 또는 TTFT에 초점을 맞춥니다. 하지만 더 빠른 추론 속도가 출력 품질 저하를 의미하지는 않습니다. 특히 공격적인 양자화(quantization), 투기적 디코딩(speculative decoding) 또는 매우 긴 컨텍스트의 경우 더욱 그렇습니다. 저는 Qwen3.8-27B에 대해 6개의 추론 엔진을 사용하여 포괄적인 벤치마크를 수행했으며, 속도뿐만 아니라 출력 품질, 장문 컨텍스트 성능, 그리고 다양한 모델 형식까지 비교했습니다. 결과는 첨부된 인포그래픽에 요약되어 있습니다. https://preview.redd.it/sh0tv3i3rvzh1.png?width=1600&format=png&auto=webp&s=4be79ec6ea76212685310eb7ef1199f344482a7f

이 벤치마크가 다른 점은 무엇일까요?

1. 속도와 품질 모두 — 단순히 tokens/sec만이 아닙니다.
   저희는 다음을 측정했습니다:

• Time to First Token (TTFT): 첫 토큰까지 걸리는 시간
• Prefill throughput (tokens/sec): 프리필 처리량 (토큰/초)
• Decode throughput (tokens/sec): 디코드 처리량 (토큰/초)
• Concurrent request performance: 동시 요청 성능
• End-to-end latency across different tasks: 다양한 작업을 통한 종단 간 지연 시간
• Output quality using automatic checks: 자동 검사를 사용한 출력 품질
  목표는 성능 최적화가 실제로 모델 품질을 보존하는지 이해하는 것이었습니다. 특히 양자화된 모델과 투기적 디코딩을 평가할 때 품질 비교가 매우 중요합니다.

2. 장문 컨텍스트 테스트: 64K, 128K, 그리고 256K 토큰
   많은 벤치마크는 상대적으로 짧은 프롬프트를 사용하며, 이는 대규모 코드베이스, 문서 분석 또는 장시간 실행 에이전트와 같은 실제 작업 부하를 반영하지 못합니다. 저희는 세 가지 장문 컨텍스트 구성을 테스트했습니다:

• 64K 토큰: 다양한 추론 및 동시성 구성에서의 성능
• 128K 토큰: 더 큰 워크로드를 처리할 때의 프리필, 디코딩 및 메모리 동작
• 256K 토큰: 장문 컨텍스트 추론에 대한 스트레스 테스트 및 실제 한계 식별
  결과는 컨텍스트 길이가 증가함에 따라 엔진 간에 상당한 차이가 있음을 보여줍니다. 짧은 프롬프트에서 잘 작동하는 일부 구성은 128K~256K에서는 경쟁력이 훨씬 떨어집니다.

3. GGUF 대 NInfer 모델 형식
   또 다른 흥미로운 점은 이것이 전적으로 GGUF만을 위한 벤치마크가 아니라는 것입니다.

저희는 GGUF 기반 및 NInfer 기반 모델 구성을 모두 포함하여, 다양한 모델 표현 방식과 추론 스택이 유사한 워크로드 하에서 어떻게 성능을 보이는지 검토할 수 있었습니다. 이는 경량의 로컬 추론 환경을 선택하는 사람들과 보다 전문화된 추론 엔진 사이에서 고민하는 사람들에게 특히 중요합니다. 한 가지 중요한 주의사항은, 이러한 비교는 모델 형식 자체를 고립적으로 측정한 것이 아니라 완전한 엔진/모델 구성을 반영한다는 것입니다.

4. 실제 작업 성능 (Real-world task performance)
   합성 처리량(Synthetic throughput) 수치만으로는 모든 것을 알 수 없습니다. 저희는 코딩, 추론, 에이전트 스타일 워크로드를 포함한 여러 작업 시나리오에 걸쳐 종단 간 지연 시간(end-to-end latency)도 측정했습니다. 실제 애플리케이션의 경우, 최고 피크 토큰/초를 달성하는 것보다 작업을 더 빨리 완료하는 것이 중요할 때가 많습니다.

주요 시사점 (Key takeaways)
모든 워크로드에서 만능 승자는 없습니다. 디코드 처리량(Decode throughput), TTFT(Time to First Token), 그리고 종단 간 지연 시간은 매우 다른 순위를 만들어낼 수 있습니다. 긴 컨텍스트 성능은 경쟁 구도를 상당히 변화시킵니다. 품질 검증(Quality validation)은 추론 벤치마킹의 일부여야 하며, 사후 고려 사항이 되어서는 안 됩니다. GGUF와 NInfer 구성을 비교하는 것은 기존의 GGUF 전용 벤치마크를 넘어서 또 다른 유용한 관점을 제공합니다.

공개 (Disclosure)
저는 이 비교에 포함된 엔진 중 하나인 TensorSharp의 저자입니다. 이 벤치마크는 또한 경쟁 추론 엔진들을 평가하며, 목표는 어떤 하나의 엔진이 모든 것을 이긴다고 주장하기보다는 로컬 LLM 커뮤니티에 유용한 데이터를 제공하는 것입니다. 특히 방법론, 품질 측정 및 긴 컨텍스트 테스트에 대한 피드백을 감사하게 생각합니다.

커뮤니티에 질문 (Questions for the community):
로컬 추론 엔진을 선택할 때, TTFT, 디코드 속도, 또는 종단 간 작업 지연 시간 중 무엇을 우선시하십니까? 양자화된 모델(quantized models)을 비교할 때 품질 검증은 얼마나 중요합니까? 128K–256K 컨텍스트가 실제 로컬 워크로드의 일부가 되어가고 있습니까? 전체 벤치마크 결과는 첨부된 인포그래픽에 있습니다.

TensorSharp: https://github.com/zhongkaifu/TensorSharp 다음으로 어떤 엔진(engines), 양자화 포맷(quantization formats) 또는 워크로드(workloads)를 벤치마킹하고 싶은지 듣고 싶습니다. 제출자 /u/fuzhongkai [링크] [댓글]