OpenEye: DNN을 위한 확장 가능한 오픈 소스 하드웨어 가속기

심층 신경망 (DNN) 추론의 계산 복잡성이 증가함에 따라, 임베디드 플랫폼에서의 효율적인 하드웨어 가속, 특히 자원 소비 및 확장성 측면에서 상당한 과제가 제기되고 있습니다. 본 연구에서는 컨볼루션 (convolutions), 밀집층 (dense layers), 풀링 (pooling)과 같은 일반적인 신경망 연산을 효율적으로 실행하도록 설계된, 확장 가능하고 희소성 인식 (sparsity-aware) 기능을 갖춘 FPGA 기반 하드웨어 가속기인 OpenEye를 선보입니다. OpenEye는 스트리밍 기반 데이터 흐름 (streaming-based dataflow)으로 상호 연결된 프로세싱 엘리먼트 (processing elements, PEs) 클러스터로 구성된 고도로 파라미터화 가능한 아키텍처를 기반으로 합니다. 본 논문은 데이터 이동, 버퍼링 전략, 제어 로직, 그리고 클러스터와 PE 간의 조율을 포함하여 가속기의 내부 동작에 대한 상세한 설명을 제공합니다. 이 아키텍처는 희소 가중치 (sparse weights) 및 활성화 (activations)를 네이티브로 지원하여, 불필요한 계산이나 메모리 액세스 없이 희소 데이터 (sparse data)를 효율적으로 처리할 수 있게 합니다. OpenEye의 핵심 설계 특성은 확장성입니다. 클러스터와 프로세싱 엘리먼트의 수를 조절하여 다양한 성능 및 자원 제약 조건에 맞춰 가속기를 적응시킬 수 있습니다. 이 설계는 PE 수가 증가함에 따라 라우팅 및 상호 연결 오버헤드가 거의 선형적으로 확장되는 것을 달성하였으며, 이는 대규모 FPGA 장치에서 효율성을 유지하는 데 필수적입니다. 다양한 설계 지점에서의 확장성을 평가하기 위해, 클러스터 및 PE 크기가 서로 다른 여러 OpenEye 구성을 Xilinx ZU19EG FPGA에 구현하였습니다. 컨볼루션, 완전 연결 (fully connected), 풀링 레이어를 포함한 대표적인 신경망 연산을 사용하여 자원 활용도, 실행 지연 시간 (execution latency) 및 확장성 동작을 분석하였습니다. 결과는 탐색된 구성 전반에 걸쳐 성능과 자원 소비 사이의 유리한 트레이드오프 (trade-offs)를 보여줍니다.