Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 글은 학습에서 추론으로의 전송 비용을 줄이기 위해 설계된 경량 C 코드 생성기를 제안합니다. RISC-V 기반 레이더 DSP를 사례로, 가중치 튜닝 등 사전 최적화 기법을 적용하여 기존 대비 추론 속도를 2.3배 개선하고 바이너리 크기를 20% 줄였습니다. 이는 자원 제한적인 엣지 디바이스에 강력한 AI 배포 솔루션을 제공합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기지난 10년간 인공지능(AI)의 상당한 발전은 점점 더 정교해지는 학습 프레임워크와 꾸준히 강력해지는 컴퓨팅 하드웨어에 밀접하게 연결되어 왔습니다. 그러나 전체 생태계는 여전히 파편화되어 있습니다. 한편으로는 모델들이 특정 프레임워크 의존 형식으로 표현되는 반면, 다른 한편으로는 새로운 연산자(operators)를 가속화하기 위한 맞춤형 하드웨어가 계속해서 등장하고 있습니다.
학습(training)에서 추론(inference)으로의 전송 비용을 효과적으로 줄이기 위해, 우리는 도메인 특화 가속기(domain-specific accelerators)를 통합하는 베어 메탈(bare-metal) 이종 시스템을 위해 설계된 경량 C 코드 생성기를 제안합니다. RISC-V 기반 레이더 DSP에 대한 포괄적인 사례 연구를 통해, 우리는 가중치 튜닝(weight tuning) 및 바이어스 융합(bias fusion)과 같은 사전 최적화(ahead-of-time optimizations)가 적용된 가속기를 사용함으로써, 동일한 가속기로 등록된 microTVM 흐름 대비 추론 속도에서 2.3배의 개선과 바이너리 크기에서 20%의 감소를 달성함을 입증했습니다. 이는 자원 제약적인(resource-constrained) 엣지 디바이스에 또 다른 강력한 선택지를 제공합니다. 코드는 Gitlab에서 오픈 소스화되었습니다.