Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
엣지 플랫폼에서 LLM 추론 효율을 높이기 위해 연산자 형태와 백엔드 전환 비용을 고려한 '전이 인지형 백엔드 디스패치' 기술을 제안합니다. NVIDIA Jetson 환경에서 실험한 결과, 기존 정적 정책 대비 지연 시간과 에너지 소비를 크게 개선했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기엣지 플랫폼에서의 효율적인 대규모 언어 모델 (LLM) 추론은 모델 크기뿐만 아니라, 실행 백엔드(execution backends) 간의 형태 의존적(shape-dependent) 성능 차이에 의해서도 제한을 받습니다. 정적 백엔드 할당(Static backend assignment)은 이러한 변동성을 활용할 수 없으며, 연산자별 독립적 선택(independent per-operator selection)은 비용이 많이 드는 장치 및 프레임워크 전환을 초래할 수 있습니다. 본 논문은 엣지 트랜스포머(transformer) 추론을 위한 전이 인지형(transition-aware) 백엔드 디스패치 접근 방식을 제시합니다. 이 접근 방식은 현재 연산자(operator)의 특징과 이전에 선택된 백엔드를 결합하여, 불필요한 전이를 피하면서도 유익한 형태 특화 선택(shape-specific choices)을 보존합니다. 7개의 트랜스포머 모델의 전체 모델 추론 실행으로부터 순서화된 트레이스(Ordered traces)를 수집하였으며, NVIDIA Jetson 플랫폼에서 PyTorch eager CPU, PyTorch eager CUDA, 그리고 ONNX Runtime CPU를 대상으로 4개의 일반적인 연산자 클래스를 벤치마킹하였습니다. 디스패치 정책은 관찰된 연산자 비용과 실제 백엔드 전환에서 측정된 전이 비용을 사용하여, 측정 기반의 트레이스 재현(measurement-backed trace replay)을 통해 평가되었습니다. 지원되는 연산자는 동적으로 선택되는 반면, 디스패치 범위 외의 연산자는 정적 할당을 유지합니다. 9,584개의 순서화된 연산자 인스턴스와 278개의 정확한 형태 그룹(shape groups)에 걸쳐, 전이 인지형 디스패치는 최적의 정적 정책(best static policy) 대비 재현된 지연 시간(latency), 에너지, 그리고 에너지-지연 곱(energy-delay product)을 각각 평균 17.4%, 14.4%, 28.5% 감소시켰습니다. 또한 연산자 로컬 선택(operator-local selection) 대비 전환(switching)을 줄여줍니다. Leave-one-model-out 평가 결과, 7개의 제외된 모델 중 6개에서 세 가지 목표 지표가 모두 개선되었으며, 7개 모델 모두에서 에너지가 개선되었습니다. 이러한 결과는 연산자 형태(operator shape)와 백엔드 전이 컨텍스트(backend-transition context)를 통합하는 것이 엣지 트랜스포머 워크로드에 대한 선택적 백엔드 디스패치를 개선할 수 있음을 입증합니다.