Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
대역폭이 제한된 환경에서 FPGA를 활용한 효율적인 스트리밍 추론을 위한 CascadeLUT 프레임워크를 제안합니다. 특징을 순서 있는 하위 집합으로 분할하여 점진적으로 예측을 정교화함으로써 데이터 이동을 최소화하고 지연 시간을 대폭 단축합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기신경망을 FPGA에 매핑하면 저지연(low-latency), 에너지 효율적인 추론이 가능해지며, 특히 승산기(multipliers)를 제거하고 재구성 가능한 패브릭(reconfigurable fabric)에 직접 매핑되는 룩업 테이블(LUT) 기반 모델의 경우 더욱 그러합니다. 기존 연구들은 높은 연산 효율성을 달성하지만, 일반적으로 전체 샘플의 가용성을 가정하기 때문에 대역폭이 제한된 스트리밍 시나리오에서는 파이프라인 스톨(pipeline stalls)을 유발합니다. 여기서 병목 현상은 연산에서 데이터 이동(data movement)으로 전환되는데, 이는 대규모 입력 전송이 처리량(throughput)과 에너지 효율성을 제한하기 때문입니다. 본 논문에서는 대역폭 제약을 중심으로 구성된 정보 구조화 추론 프레임워크인 CascadeLUT를 제안합니다. 전체 입력을 버퍼링하는 대신, 특징(features)을 순서가 있는 하위 집합으로 분할하고 하위 집합이 도착함에 따라 예측을 점진적으로 정교화합니다. 이 캐스케이드(cascade)는 어떤 레이어가 들어오는 특징을 소비할지를 정적으로 제어하여, 런타임 분기(runtime branching) 없이 결정론적(deterministic) 스트리밍 추론을 가능하게 합니다. 특징 스케줄링(feature scheduling)을 하드웨어 데이터플로우(dataflow)와 공동 설계함으로써, CascadeLUT는 정확도를 유지하면서 데이터 이동을 줄입니다. 다양한 데이터셋에 걸쳐, CascadeLUT는 가장 작은 DWN 베이스라인 대비 작업당 1.24.4배의 LUT를 사용하면서도, 기존 LUT 베이스라인보다 4.012.5배 낮은 지연 시간, 3.0~5.0배 높은 처리량, 그리고 최대 13.8배 낮은 샘플당 에너지를 달성했습니다. 또한 우리는 LUT 기반 추론과 통합된 온디바이스 입력 양자화(on-device input quantization)를 입증하고, 양자화 오버헤드를 5배 줄인 실제 워크로드에 대한 엔드 투 엔드(end-to-end) FPGA 결과를 제시합니다.