명령어 기반 희소성: 멀티태스크 추론 가속기를 위한 태스크 조건부 연산 건너뛰기

요약

멀티태스크 추론 시 불필요한 연산을 줄이기 위해 명령어 기반의 태스크 조건부 연산 건너뛰기 기술을 제안합니다. HW/SW 공동 설계를 통해 모델 변경 없이도 에너지 효율과 추론 속도를 대폭 개선했습니다.

핵심 포인트

• 명령어 기반의 타일별 이진 실행 마스크를 통한 연산 건너뛰기 구현
• HW/SW 공동 설계를 통해 모델 아키텍처 변경 없이 희소성 적용 가능
• FLOPs를 최대 76% 감소시키고 추론 지연 시간을 약 2.4배 가속
• FPGA 프로토타입을 통해 자율 주행 시뮬레이션 환경에서 성능 검증