엣지 AI 추론 가속기를 활용한 온디바이스 모델 적응 (On-Device Model Adaptation) 강화

원문 발행 2026. 07. 21. 01:02원문 언어 영어AI 한국어 번역arXiv cs.AR 원문 보기

요약

자원이 제한된 엣지 장치에서 효율적인 온디바이스 모델 적응을 위해 Hailo-8L 가속기를 활용한 이기종 적응 파이프라인을 제안합니다. 백본은 가속기에서 INT8로 실행하고 분류 헤드만 CPU에서 미세 조정하여 연산 효율과 에너지 절감을 동시에 달성했습니다.

핵심 포인트

Hailo-8L 가속기를 활용한 고정 백본 기반의 이기종 적응 파이프라인 제안
Raspberry Pi 5 대비 최대 15.4배 빠른 실제 학습 시간 달성
에너지 효율적인 현장 업데이트를 위한 양자화 및 계산 그래프 분할 기술 적용
양자화 복원(PTQ restoration)을 통한 모델 정확도 손실 완화

온디바이스 모델 적응 (On-device model adaptation)은 자원이 제한된 하드웨어에서 평생 개인화 (lifelong personalization)를 가능하게 하는 데 필수적이지만, 이러한 장치의 연산, 전력 및 메모리 제한으로 인해 현대적인 심층 신경망 (deep neural networks)에 대한 엔드 투 엔드 역전파 (end-to-end backpropagation)는 비실용적입니다. 본 연구는 상용 엣지 AI 추론 가속기인 Hailo-8L을 온디바이스 학습 중 고정된 백본 (frozen-backbone) 특징 추출 (feature extraction) 용도로 재사용하는 이기종 적응 파이프라인 (heterogeneous adaptation pipeline)을 제안합니다. 계산 그래프 (computational graph)를 분할하여, 사전 학습된 백본은 INT8로 양자화 (quantized)되어 가속기에서 실행되는 반면, 가벼운 FP32 분류 헤드 (classification head)만 호스트 CPU에서 미세 조정 (fine-tuned)되도록 하여, 대부분의 가중치를 고정된 상태로 유지하면서도 빈번하고 에너지 효율적인 현장 업데이트 (in-field updates)를 가능하게 합니다. 다양한 아키텍처와 데이터셋에 걸쳐, 이 파이프라인은 Raspberry Pi 5 CPU 베이스라인과 비교하여 최대 15.4배 빠른 실제 학습 시간 (wall-clock training time)을 달성하였으며, 유리한 설정에서 경쟁력 있는 처리량 (throughput)을 제공하고, 샘플당 에너지 소비를 일관되게 감소시킵니다. 학습 후 양자화 복원 (Post-training quantization restoration)은 가속기에서 생성된 특징의 품질을 보존하고 양자화에 민감한 아키텍처에서 정확도 손실을 완화하는 데 매우 중요하다는 것이 입증되었습니다. 전반적으로, 본 결과는 추론 중심의 엣지 가속기를 사용하여 효율적인 온디바이스 적응을 구현하는 실용적인 접근 방식을 보여줍니다. 구현 코드는 https://github.com/MatPiech/accelerator-training 에서 확인할 수 있습니다.

AI 자동 생성 콘텐츠

원문 바로가기

엣지 AI 추론 가속기를 활용한 온디바이스 모델 적응 (On-Device Model Adaptation) 강화

요약

핵심 포인트

댓글