HiFi-LLP: 신뢰도를 갖춘 고정밀, 저비용 지연 시간 예측기를 이용한 견고한 HW-NAS
요약
본 논문은 엣지 장치에 DNN 배포 시 필수적인 HW 인식 신경망 구조 탐색(HW-NAS) 과정에서 발생하는 지연 시간 측정의 병목 현상을 해결하는 방법을 제시합니다. 연구진은 그래프 어텐션 네트워크 기반의 고정밀, 저비용 지연 시간 예측기인 HiFi-LLP를 개발했습니다. 이를 통해 NAS 프로세스의 정확도를 높이고 하이브리드 프레임워크를 구축하여 기존 대비 높은 속도 향상을 달성했습니다.
핵심 포인트
- HiFi-LLP는 그래프 어텐션 네트워크 기반의 고정밀 지연 시간 예측기입니다.
- HIL 측정의 병목 현상을 해결하고 NAS 프로세스의 정확도를 높였습니다.
- 하이브리드 NAS 프레임워크를 통해 기존 대비 최대 8.6배 속도 향상을 달성했습니다.
딥 신경망(DNN)이 엣지 장치에 점점 더 많이 배포됨에 따라, 하드웨어(HW) 인식 최적화 기법—예를 들어 HW 인식 압축 및 HW 인식 신경망 구조 탐색(HW-NAS)—이 필수적이 되었습니다. 이러한 방법들은 효율적인 배포를 위해 DNN 아키텍처를 조정하는 데 목표 하드웨어의 실제 피드백에 의존합니다. 검색 과정은 병렬화될 수 있지만, 하드웨어 인 더 루프(HIL)를 통한 지연 시간 측정은 순차적 특성 때문에 여전히 병목 현상을 일으킵니다. 최근 접근 방식들은 비용이 많이 드는 HIL 피드백을 대체하기 위해 지연 시간 예측기를 사용하지만, 다음과 같은 문제들이 남아 있습니다: (1) 플랫폼별 예측기는 종종 수만 개의 샘플을 필요로 하며, (2) 부정확한 예측은 NAS 프로세스를 오도할 수 있습니다. 이를 해결하기 위해, 우리는 그래프 어텐션 네트워크(graph attention networks)를 기반으로 하고 신뢰도 지표가 추가된 고정밀, 저비용 지연 시간 예측기인 HiFi-LLP를 소개합니다. HiFi-LLP는 LatBench 데이터셋의 6개 장치에서 기존 플랫폼별 예측기보다 최대 9 퍼센트 포인트(p.p.) 높은 정확도 경계와 최대 0.996의 스피어만 순위 상관관계를 달성하며 우수한 성능을 보입니다. 나아가, 우리는 낮은 신뢰도의 예측을 HIL로 라우팅하는 하이브리드 NAS 프레임워크를 제안하여, 경쟁력 있는 파레토 전선을 유지하면서 일반적인 NAS 대비 최대 8.6$ imes$의 속도 향상을 달성합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기