지속 가능한 FPGA 기반 Vision Transformer 추론을 위한 근사 어텐션 가중치 산출 방식

요약

FPGA 환경에서 Vision Transformer(ViT)의 셀프 어텐션 연산을 효율적으로 수행하기 위한 BRAM-free 근사 어텐션 가중치 산출 방식을 제안합니다. 분산 LUT 패브릭을 활용한 구간 선형 함수로 소프트맥스를 근사하여 자원 소모를 최소화하면서도 높은 정확도를 유지합니다.

핵심 포인트

• BRAM을 사용하지 않는 LUT 기반의 근사 소프트맥스 설계
• 자연 지수 함수 근사를 통해 모델 재보정 없이 어텐션 온도 보존
• Xilinx Zynq-7020 구현 시 1444 LUT 및 77 DSP 사용
• 정확한 소프트맥스 대비 Top-1 오차 0.20% 이내 달성
• 에지 AI 플랫폼을 위한 에너지 효율적인 ViT 추론 가능