Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
엣지 디바이스의 AI 칩 유휴 자원을 활용하여 범용 연산 효율을 높이는 프레임워크를 제안합니다. NAS를 통해 일반 연산을 신경망 모델로 변환하고, AI 엔진의 유휴 시간에 이를 배치하여 전체 시스템 성능을 향상시킵니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기스마트 센싱 및 프로세싱과 같은 다양한 IoT 시나리오에서 AI가 널리 채택됨에 따라, AI 칩은 엣지(edge)의 일반적인 구성 요소가 되었습니다. 이러한 칩들은 일반적으로 구조화된 신경망 (NN) 프로세싱에 특화되어 있으며, 피크 워크로드(peak workload) 요구 사항을 충족하도록 설계되었습니다. 그러나 이들은 종종 활용도가 낮으며, 프로세싱 과정에서의 시간적 또는 공간적 중복성으로 인해 상당한 연산 낭비를 겪습니다. 반대로, 엣지의 범용 프로세싱 엔진은 엄격한 자원 제약으로 인해 신호 처리 및 복잡한 수치 연산과 같은 연산 집약적인 작업에 어려움을 겪을 수 있습니다. 이러한 불균형을 해결하기 위해, 우리는 범용 근사 (approximation) 기법을 사용하여 사용되지 않는 AI 연산 자원을 수확하는 프레임워크를 제안합니다. 핵심 아이디어는 대표적인 신경망 구조 탐색 (NAS) 방법을 통해 전통적인 컴퓨팅 작업을 신경망 모델로 자동 변환하는 것입니다. 이렇게 근사화된 범용 작업 버전은 AI 엔진의 유휴 시간 동안 배포됩니다. 구체적으로, 우리는 주요 AI 워크로드의 성능을 저해하지 않으면서 이러한 작업들을 AI 칩으로 오프로딩 (offloading)하는 런타임 스케줄러를 도입하여, 범용 프로세서의 부담을 완화합니다. 대표적인 AIoT 프로세서에 대한 실험 결과, 우리가 제안한 AI 연산 수확 전략이 일련의 엣지 프로세싱 작업 전반에 걸쳐 상당한 성능 향상을 제공함을 보여줍니다.