적응형 모델 압축 (AMC): 초저전력 트랜스포머 추론을 위한 중요도 기반 자원 할당

원문 발행 2026. 07. 11. 13:05원문 언어 영어AI 한국어 번역arXiv cs.AR 원문 보기

요약

본 논문은 대규모 트랜스포머 모델을 저전력 엣지 디바이스에 배포하기 위한 적응형 모델 압축(AMC) 프레임워크를 제안합니다. 이 시스템은 토큰 중요도에 따라 하드웨어 자원을 동적으로 할당하여, 중요한 정보는 고정밀로 처리하고 덜 중요한 데이터는 비트 폭을 줄여 에너지 효율성을 극대화했습니다.

핵심 포인트

토큰 중요도 기반의 동적 자원 할당 프레임워크 제안 (AMC)
45nm CMOS 하드웨어에서 시스템 에너지 59.2% 감소 달성
처리량(throughput) 2.24배 증가 및 정확도 손실 최소화

대규모 트랜스포머 모델을 리소스가 제한된 엣지 디바이스에 배포하는 것은 여전히 어려운 과제입니다. 이는 단순 토큰과 복잡한 토큰을 균일한 강도로 처리하는 정적 추론(static inference)에서 발생하는 높은 에너지 및 메모리 오버헤드 때문입니다. 이를 해결하기 위해, 우리는 토큰 중요도에 따라 하드웨어 자원을 동적으로 할당하는 중요도 기반 프레임워크인 적응형 모델 압축 (Adaptive Model Compression, AMC)을 제안합니다. 다단계 아키텍처를 구현함으로써, 저희 시스템은 전체 정밀도(full-precision) 처리가 필요한 중요한 고중요도 정보를 식별하는 동시에, 덜 중요한 데이터의 랭크(rank)와 비트 폭(bit-width)을 적극적으로 줄입니다. 실험 결과에 따르면, AMC는 45nm CMOS 하드웨어에서 시스템 에너지 59.2% 감소 및 처리량(throughput) 2.24배 증가를 달성하는 것으로 나타났습니다. 이 접근 방식은 필요한 곳에서만 고정밀 컴퓨팅을 활용하여 모바일 장치의 배터리 수명을 효과적으로 연장하며, 단 3.6%의 정확도 손실로 견고한 성능을 유지합니다.

AI 자동 생성 콘텐츠

원문 바로가기

적응형 모델 압축 (AMC): 초저전력 트랜스포머 추론을 위한 중요도 기반 자원 할당

요약

핵심 포인트

댓글