단계가 중요하다: 모바일 SoC에서의 이기종 시각-언어(Vision-Language) 추론 특성 분석

요약

Snapdragon 8 Elite SoC 환경에서 모바일 VLM 추론의 단계별 하드웨어 특성을 분석한 연구입니다. NPU 활용 시 프리필과 디코드 단계의 성능 차이, 열 안정성 및 에너지 효율성을 검증하고 최적화된 포팅 방법을 제시합니다.

핵심 포인트

• Snapdragon 8 Elite 기반 VLM 추론의 단계별 성능 및 에너지 특성 분석
• NPU 사용 시 프리필 단계에서 1.64배, 디코드 단계에서 1.18배 속도 향상
• 시각 인코더의 NPU 활용 시 CPU 대비 20~45배의 압도적 성능 향상
• NPU 최적화를 통해 정상 상태 온도를 10.47°C 낮추고 에너지 2.52배 절감
• 그래프 재작성을 통해 미지원 인코더의 QNN 경로 최적화 및 속도 향상 가능