델타 인지 학습을 향하여: 자원 제한적인 FPGA를 위한 효율적인 DNN 가중치 저장 방식

자원 제한적인 필드 프로그래머블 게이트 어레이 (FPGAs) 상에 임베디드 심층 신경망 (DNN)을 배포하는 것은 제한된 메모리 및 연산 능력으로 인해 매우 도전적인 과제입니다. 본 연구에서는 더 낮은 비트 너비 (bitwidth)를 가진 델타 (deltas) 형태로 가중치를 저장하고, 압축된 델타에 대응하도록 네트워크를 학습시킴으로써 메모리 사용량 (memory footprint)을 줄이는 새로운 압축 기술을 소개합니다. 두 가지 델타 방식인 연속 델타 (consecutive deltas)와 고정 참조 값 델타 (deltas with a fixed-reference value)를 조사하였습니다. 우리는 다층 퍼셉트론 (multi-layer-perceptron)을 사용하여 FashionMNIST 데이터셋에서 두 방식을 평가했습니다. 결과에 따르면, 고정 참조 델타 압축이 연속 방식보다 우수한 성능을 보였으며, 4비트 가중치 델타를 사용하여 약 78.6%의 검증 정확도 (validation accuracy)를 달성했습니다. 이는 8비트 고정 소수점 (fixed-point) 네트워크와 비교했을 때 약 8.3%의 정확도 손실을 나타냅니다. 델타 압축 곱셈-누산 (multiply-and-accumulate) 연산자를 갖춘 우리의 특화된 하드웨어 가속기는 가중치를 거의 50% 압축하며, AMD Spartan-7 S15 FPGA에서 최대 7.992M MACs/s의 처리량 (throughput)을 달성합니다.