온디바이스 VLM 추론까지 얼마나 남았나? 엣지 NPU를 활용한 측정 연구

요약

본 논문은 엣지 NPU 환경에서 VLM 배포를 위한 경험적 측정 연구를 제시합니다. Softmax 최적화나 선형 어텐션 속도 향상이 실제 NPU에서는 기대만큼 작동하지 않음을 보여주며, 기존의 여러 가설에 도전합니다. 이를 바탕으로 하드웨어 아키텍트와 개발자를 위한 실질적인 계층 간 권장 사항을 제공합니다.

핵심 포인트

• VLM 배포를 위해 엣지 NPU에서의 계층 간 조정 연구가 필요하다.
• Softmax 최적화는 파이프라인 버블 제거에 한계가 있다.
• 선형 어텐션의 속도 향상은 텐서 재배열 오버헤드로 인해 사라진다.
• NPU 효율성은 병렬성이 결정하며, CPU와 NPU 간 성능 균형 이동이 중요하다.
• VLM은 미세한 지연 시간으로 의미 있는 정확도 향상을 주는 최적 해상도를 가진다.