동적 희소 업데이트 및 하드웨어-소프트웨어 공동 설계를 통한 100KB 미만 온디바이스 CNN 학습

요약

엣지 디바이스의 높은 컴퓨팅 비용 문제를 해결하기 위해, 동적 희소 업데이트와 활성화 가지치기를 결합한 CNN 학습 가속기가 제안되었습니다. 이 하드웨어-소프트웨어 공동 설계는 그룹 정규화와 컨볼루션을 통합 처리하며, 100KB 미만의 온디바이스 학습을 가능하게 합니다.

핵심 포인트

• 동적 희소 업데이트로 중요한 파라미터만 선택적으로 업데이트하여 비용 절감.
• 활성화 가지치기를 통해 활성화 저장 공간을 원래의 3.4% 수준으로 줄임.
• 통합 순방향 데이터 흐름 설계로 학습 시간을 45% 단축하는 성능 달성.
• FP8 정밀도로 TSMC 28nm에 구현되어 온칩 SRAM 내에서 온디바이스 학습 실현.