본문으로 건너뛰기
Zenn헤드라인2026. 11. 17. 06:28
우회책 재활용: Llama 3.2 1B를 QCS6490으로 측정하다 — 프리필 1,024 tok/s, 디코딩 16.4 tok/s 대표 이미지

우회책 재활용: Llama 3.2 1B를 QCS6490으로 측정하다 — 프리필 1,024 tok/s, 디코딩 16.4 tok/s

원문 발행 2026. 11. 17. 00:12원문 언어 영어AI 한국어 번역Zenn ML 원문 보기

요약

Qualcomm QCS6490 하드웨어에서 Llama 3.2 1B Instruct와 Qwen3-0.6B 모델의 성능을 실측한 결과입니다. 이 수치는 커스텀 체인 구성과 그래프별 프로파일링 방법론을 통해 도출되었으며, 각 모델의 프리필 및 디코딩 속도를 구체적으로 제시합니다.

핵심 포인트

  • Llama 3.2 1B는 QCS6490에서 프리필 1,024 tok/s, 디코딩 16.4 tok/s를 기록했습니다.
  • Qwen3-0.6B의 성능은 각각 프리필 1,555 tok/s, 디코딩 24.6 tok/s로 측정되었습니다.
  • 제시된 수치는 실제 하드웨어의 그래프별 프로파일링 결과이며, 방법론이 명확합니다.
  • 해당 방법론을 통해 Qwen3-1.7B나 Llama 3.2 3B 등 더 큰 모델도 테스트가 가능합니다.

AI 자동 생성 콘텐츠

본 콘텐츠는 Zenn ML의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
0

댓글

0