AI 엔진 기반 극한 엣지 과학 컴퓨팅 설계 가이드

극한 엣지(Extreme-edge) 과학 애플리케이션은 센서 데이터를 분석하고 실시간으로 의사결정을 내리는 데 머신러닝 모델을 활용합니다. 이러한 응용 분야는 매우 엄격한 지연 시간과 처리량 요구사항을 가지며, 이는 작은 배치 크기(small batch sizes)와 모든 모델 가중치가 온칩(on-chip)에 존재해야 함을 의미합니다.

전통적으로 극한 엣지 애플리케이션에서는 공간 데이터 흐름(Spatial dataflow) 구현이 일반적입니다. 이 방식은 소규모 네트워크에는 효과적이지만, 본질적인 자원 확장성 한계 때문에 대형 모델로 확장하는 데 어려움을 겪습니다. 이에 대한 유망한 대안으로 현대 FPGA SoC에 탑재된 AI 엔진이 주목받고 있습니다. AI 엔진은 높은 컴퓨팅 밀도와 추가 온칩 메모리를 제공하지만, 그 아키텍처, 프로그래밍 모델, 성능 스케일링 동작 방식이 기존의 프로그래밍 가능한 로직(programmable logic)과 근본적으로 다르기 때문에 단순 비교가 어렵고 실제 이점을 명확히 파악하기 어렵다는 문제가 있었습니다.

본 연구는 극한 엣지 과학 신경망을 AI 엔진에 구현하는 것이 적절한 경우와, 기존 프로그래밍 가능 로직에 구현하는 것이 더 나은 경우를 체계적으로 다룹니다. 이를 위해 시스템적인 아키텍처 특성화(systematic architectural characterization)와 마이크로 벤치마킹(micro-benchmarking)을 수행했습니다.

가장 중요한 기여 중 하나는 **지연 시간 조정 자원 등가성 (Latency-Adjusted Resource Equivalence, LARE)**이라는 새로운 측정 지표를 도입했다는 점입니다. 이 LARE 지표는 AI 엔진 구현이 언제 프로그래밍 가능 로직 설계보다 우수한 성능을 보이는지를 객관적으로 식별할 수 있게 합니다.

또한, 본 논문은 저지연 과학 추론(low-latency scientific inference)에 맞춰진 공간적 및 API 레벨의 데이터 흐름 최적화 방안을 제안합니다. 마지막으로, hlsml 툴체인을 사용하여 온칩 메모리 한계로 인해 프로그래밍 가능 로직으로는 구현이 불가능했던 엔드투엔드(end-to-end) 신경망 모델까지 AI 엔진에 성공적으로 배포했음을 입증했습니다.