어제 Qualcomm QCS6490에서 처음 공개된 GenAI 실측 결과로, Qwen3-0.6B의 경우 프리필(Prefill) 1,555 tok/s / 디코딩(Decode) 24.6 tok/s를 발표했습니다. 이 수치에 도달하기 위해서는 커스텀 체인 구성이 필요했습니다. 공식 AI Hub Export Script가 컴파일러에 거부되는 플래그를 전달했기 때문입니다("--output_names is not supported for AIMET ONNX models
, 상위 issue #366 참조. v0.67.0에서 수정 예정이지만 아직 배포되지 않았습니다).
다음으로 궁금한 것은 당연히 이것일 것입니다. 그것은 일회성 구제책이었는지, 아니면 같은 체인으로 다른 모델들도 통과할 수 있는지 여부입니다. 오늘 테스트에 사용된 모델은 가장 인지도가 높은 소형 모델인 Llama 3.2 1B Instruct입니다.
동일한 체인, 새로운 놀라움은 없다
레시피는 동일합니다. 실패했던 Export Job에서 파이프라인 자체의 컴파일 매개변수를 읽어와 문제의 플래그를 하나만 수정하고, 스크립트가 고정하는 것을 잊었던 입력 형태(Input Shape)를 고정했습니다(Qwen3 초기 시도에서는 이 누락된 정보 때문에 실패했습니다. 동적 형태로는 즉시 오류가 발생합니다). 이후 Hub API에서 직접 컴파일 Job을 전송하기만 하면 됩니다. 총 6번의 컴파일, 1번의 링크, Dragonwing RB3 Gen 2 실제 하드웨어에서의 프로파일링 6회까지 모두 통과했습니다. 버그는 여전히 스크립트 안에 남아 있지만, 체인은 그 옆으로 지나갈 수 있습니다.
수치
Llama 3.2 1B Instruct, w4a16, 컨텍스트 길이 512, RB3 Gen 2 (QCS6490) 실제 하드웨어:
프리필: 1,024 tok/s
디코딩: 16.4 tok/s
방법을 명확히 밝힙니다. 이것이 중요하기 때문입니다. 이 수치는 실제 하드웨어의 그래프별 프로파일링에서 도출된 것이며, 어제의 Qwen3와 동일한 방법론을 사용했습니다. 따라서 두 수치를 비교할 수 있습니다. 이는 Genie의 End-to-End 실행 결과가 아닙니다. End-to-End에는 그래프별로는 나타나지 않는 런타임 오버헤드가 포함됩니다. 방법이 명시되지 않은 큰 숫자가 아닌, 방법과 세트인 수치를 제시하고 싶었습니다.
| 모델 | 양자화 | 컨텍스트 | 프리필 (tok/s) | 디코딩 (tok/s) |
|---|
| Qwen3-0.6B | w4a16 | 512 | 1,555 | 24.6 |
| Llama 3.2 1B Instruct | w4a16 | 512 | 1,024 | 16.4 |
제가 알기로 QCS6490 상의 Llama 3.2 1B에 대한 공개 실측은 이것이 처음입니다. 선행 사례를 알고 계신 분이 있다면 꼭 보여주시기 바랍니다. 이 표가 공개적인 장소에 존재한다는 것 자체가 공개하는 이유입니다.
두 번째 줄이 중요한 이유
우회책으로 통과한 모델이 하나라면 그것은 일화(anecdote)일 뿐입니다. 서로 다른 2개 패밀리의 모델들이 같은 체인을 통해 새로운 놀라움 없이 통과한다면, 그것은 방법론(method)이 됩니다. 진정으로 필요한 것은 그 기울기(gradient)이며, 0.6B와 1B가 채워진 지금, 같은 체인으로는 Qwen3-1.7B와 Llama 3.2 3B가 기다리고 있습니다. '이 칩에서 실제로 무엇이 얼마나 빠르게 작동하는지'를 외삽(extrapolation)이 아닌 실측으로 보여줄 수 있게 됩니다.
실패 데이터까지 포함한 모든 데이터는 공개 벤치마크 리포지토리(qcs-bench)와 모델 카드에 게시되어 있습니다.
모델에는 Llama 3 라이선스가 적용됩니다. 여기서 공개하는 것은 실측값과 그에 도달한 경로입니다.
Discussion