명령어 기반 희소성: 멀티태스크 추론 가속기를 위한 태스크 조건부 연산 건너뛰기
요약
멀티태스크 추론 시 불필요한 연산을 줄이기 위해 명령어 기반의 태스크 조건부 연산 건너뛰기 기술을 제안합니다. HW/SW 공동 설계를 통해 모델 변경 없이도 에너지 효율과 추론 속도를 대폭 개선했습니다.
핵심 포인트
- 명령어 기반의 타일별 이진 실행 마스크를 통한 연산 건너뛰기 구현
- HW/SW 공동 설계를 통해 모델 아키텍처 변경 없이 희소성 적용 가능
- FLOPs를 최대 76% 감소시키고 추론 지연 시간을 약 2.4배 가속
- FPGA 프로토타입을 통해 자율 주행 시뮬레이션 환경에서 성능 검증
멀티태스크 (Multi-task) 추론 모델은 다양한 태스크에 걸쳐 단일 백본 (backbone)을 공유하지만, 어떤 태스크가 활성화되어 있는지와 관계없이 동일한 연산을 실행하여 태스크와 무관한 연산에 에너지와 사이클을 낭비합니다. 우리는 일반적으로 추론이 시작되기 전에 사용 가능한 태스크 명령어 (task command)가 하드웨어 수준에서 불필요한 연산을 건너뛰는 데 활용될 수 있는 무료 신호를 제공한다는 점을 관찰했습니다. 우리는 백본과 공동으로 학습된 경량 게이팅 네트워크 (gating network)가 태스크 입력에 따라 타일별 이진 실행 마스크 (per-tile binary execution masks)를 예측하는 HW/SW 공동 설계 접근 방식을 제시합니다. 각 타일은 출력 채널의 고정된 그룹(가속기의 기본 스케줄링 입도)에 대응하므로, 마스킹된 타일을 오버헤드 없이 건너뛸 수 있습니다. 이는 모델 아키텍처나 추론 파이프라인의 변경 없이, 각 명령어가 필요한 네트워크의 하위 집합만을 활성화함으로써 태스크 의존적인 연산 감소를 가져옵니다. 우리는 전체 시스템 스택을 공동 설계했습니다: 희소성 목표 하에 하드웨어에 정렬된 타일 마스크를 학습하는 명령어 조건부 학습 절차, 소프트웨어의 개입 없이 하드웨어가 마스킹된 타일을 건너뛸 수 있도록 명령어에 타일별 비트마스크 필드를 포함하는 명령어 집합 아키텍처 (ISA), 그리고 희소 타일 실행을 기본적으로 지원하는 구성 가능한 병렬성, 더블 버퍼 메모리 및 INT8 데이터패스를 갖춘 타일형 추론 가속기입니다. 우리는 AMD/Xilinx Alveo U50 FPGA에서 프로토타입을 제작하고 CARLA 자율 주행 시뮬레이터의 폐루프 시각-운동 (visuomotor) 주행 태스크에서 평가했습니다. 태스크 조건부 희소성 (Task-conditional sparsity)은 주행 품질을 유지하면서 FLOPs를 66-76% 감소시킵니다. 온디바이스 지연 시간 (On-device latency)은 9.12 ms에서 3.74-4.44 ms로 51-59% 감소(2.1-2.4배 가속)하며, 추론당 에너지는 263 mJ에서 108-128 mJ로 떨어집니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기