FlexViT: 에지 Vision Transformer를 위한 유연한 FPGA 기반 가속기

요약

에지 디바이스에서 Vision Transformer(ViT)를 효율적으로 실행하기 위한 FPGA 기반 가속기 FlexViT를 제안합니다. 하드웨어-소프트웨어 공동 설계를 통해 다양한 레이어 구성을 지원하며, CPU 대비 최대 1.40배의 엔드 투 엔드 속도 향상을 달성했습니다.

핵심 포인트

• 하이브리드 ViT의 구조적 이질성을 해결하기 위한 FPGA 가속기 제안
• 런타임 im2col 변환을 통한 고처리량 INT8 GEMM 엔진 매핑
• 연산 어레이 재구성을 통한 이중 모드 데이터플로우 적용
• 메모리 대역폭 절감을 위한 깊이 우선 타일링 전략 도입
• PYNQ-Z2 FPGA 구현 결과 CPU 대비 최대 1.40배 속도 향상