추론을 위한 하드와이어링 분산 처리 장치: 센서에서 신경망 결정을 수행하여 호스트의 부담을 줄이다

우리는 하드와이어링 분산 처리 장치(HDPU)가 센서에서 신경망 결정(neural decision)을 내림으로써 추론(inference) 작업을 호스트로부터 제거할 수 있음을 보여줍니다. 저가형 Artix-7 FPGA에 탑재되어 제브라 크로싱 감지용으로 구축된 이 장치는 고정된 2,269,477 클럭 사이클(34.04 ms는 FPGA 클럭 주파수에 따라 다름) 내에서 프레임 주기 37.49ms 동안 모든 카메라 프레임에 대한 결정을 내리며, 보드 상에서는 639개의 테스트 이미지 모두에서 비트 단위로 정확한 소프트웨어 모델과 동일한 점수와 결정을 반환합니다. 카메라 픽셀부터 결정까지의 전체 감지 경로는 프로세서, 운영 체제(operating system), 그리고 풀 해상도 프레임 저장소 없이 단 1,814개의 LUT만 사용합니다. 이 장치가 '확신하지 않음'을 보고하는 대신 답변할 경우, 거리 사진에 대한 답변 중 95.7%가 정확하며, 하드웨어 대비(contrast) 단계는 카메라와 유사한 대시캠 프레임의 정확도를 47.7%에서 78.2%로 끌어올립니다. 호스트는 모든 추론 작업으로부터 해방됩니다. 이는 매 프레임 주기 동안 코어 시간의 8.13 ms를 절약하는 것인데, 여기서 풀 정밀도(full-precision) ResNet-18은 심지어 16개의 스레드를 사용하더라도 프레임 주기를 초과할 필요가 있습니다. 또한 호스트는 매 프레임당 614,400 바이트 대신 16바이트만 수신하게 되어 데이터 전송량을 38,400배 줄입니다. 이 장치는 80x60 픽셀 파이프라인으로 구성되어 있으며, 93,408개의 1비트 가중치를 가진 4개 레이어의 이진화 CNN(binarized CNN)에 데이터를 공급하며, 이는 Python 모델에서 RTL 시뮬레이션을 거쳐 보드까지 비트 단위로 검증되었습니다. 이전 HDPU는 전처리(edge, corner, steering 등)를 수행했지만, 본 장치는 결정 자체를 센서로 이동시킬 수 있음을 보여줍니다.