TinyML 환경을 위한 CNN 하드웨어 최적화 방안

최근 인공지능 추론이 로컬 디바이스로 이동하면서, 자원 제약이 극심한 온디바이스 AI 분야인 TinyML(Tiny Machine Learning)이 주목받고 있습니다. 이 환경에서는 낮은 전력과 지연 시간이라는 엄격한 제약을 만족하는 것이 핵심 과제입니다.

기존의 최적화 방식들은 종종 훈련 데이터에 의존하거나 재학습 과정이 필요했습니다. 하지만 민감하거나 독점적인 데이터를 다루는 TinyML 현장 환경에서는 이러한 접근법들이 적용되기 어렵습니다. 따라서 사전 학습된 모델을 그대로 활용하면서 하드웨어 효율성을 높이는 새로운 방법론이 절실합니다.

본 연구는 근사 행렬 분해(Approximate Matrix Decomposition)를 핵심 아이디어로 삼아, 주어진 CNN 구조 자체를 최적화하는 프레임워크를 제안합니다. 이 방식은 재학습이나 미세 조정 없이도 작동하며, 유전 알고리즘(Genetic Algorithm)을 활용하여 FPGA 타겟에 맞는 곱셈기 없는(multiplier-less) 가속기 설계를 탐색합니다.

실제 벤치마크 평가 결과, 제안된 프레임워크는 기존의 시스토릭 배열 기반 FPGA 가속기와 비교했을 때 평균적으로 33%의 지연 시간 개선을 달성했습니다. 동시에 정확도 손실은 평균 1.3%에 그치는 등, 까다로운 자원 및 성능 요구사항을 모두 충족함을 입증했습니다.