ViM-Q: FPGA 에 대한 Vision Mamba 모델 추론을 위한 확장 가능한 알고리즘·하드웨어 공동 설계

State Space Models (SSM) 의 선형 복잡도를 활용하여 Transformer 보다 효율적인 ViM (Vision Mamba) 모델을 제공하지만, FPGA 상에 이를 효과적으로 배포하는 것은 여전히 도전과제입니다. 선형 레이어는 정적 양자화 (static quantization) 를 무효화하는 동적 활성화 이상치 (dynamic activation outliers) 와 싸우며, 균일 양자화는 낮은 비트 폭에서 중량 분포를 포착하지 못합니다. 또한, 연산 스캔 (associative scan) 은 GPU 에서 SSM 을 가속화하지만, 그 메모리 접근 패턴은 FPGA 가 요구하는 스트리밍 데이터플로우와 맞지 않습니다.

이러한 도전과제를 해결하기 위해 우리는 엣지 상의 ViM 추론을 위한 확장 가능한 알고리즘·하드웨어 공동 설계인 ViM-Q 를 제시합니다. 우리는 동적 토큰당 활성화 양자화와 채널당 평활화 (per-channel smoothing) 를 결합한 하드웨어 감성 양자화 스키마를 소개하여 이상치를 완화하고, 커스텀 4-bit per-block Additive Power-of-Two (APoT) 중량 양자화를 도입했습니다. 모델은 Lookup-Table (LUT) 단위를 사용하여 곱셈을 시프트·추가 연산으로 대체하는 선형 엔진과 상태 차원을 병렬화하면서 순차적 회귀를 보존하는 세밀한 파이프라인 SSM 엔진을 갖춘 런타임 파라미터화 가능한 FPGA 가속기로 배포되었습니다. 특히, 하드웨어는 ViM 가족의 다양한 차원과 입력 해상도에 걸쳐 런타임 구성을 지원하여 적응합니다.

AMD ZCU102 FPGA 상에 구현된 ViM-Q 는 ViM-tiny 의 저 배치 추론에서 양자화된 NVIDIA RTX 3090 GPU 기준 대비 평균 4.96 배 속도 향상과 59.8 배 에너지 효율 향상을 달성했습니다. 이 공동 설계는 자원 제약이 있는 엣지 장치에 ViM 모델을 배포하는 실현 가능한 경로를 보여줍니다.