결함 허용 심층 신경망 (DNNs)을 위한 CoG 유도 가중치 교정 방법
요약
하드웨어 및 메모리 결함으로 인한 DNN의 신뢰성 저하 문제를 해결하기 위해 CoG(무게 중심) 유도 가중치 교정 방법을 제안합니다. 재학습 없이 거리 인식 교정 규칙을 통해 결함을 탐지하고 복구하며, 다양한 네트워크 구조에서 높은 결함 허용 능력을 입증했습니다.
핵심 포인트
- CoG 개념을 신경망 가중치 텐서에 적용한 최초의 연구
- 재학습이나 구조적 수정 없이 가중치 결함 탐지 및 교정 가능
- LSTM 기반 모델에서 최대 230배의 결함 허용 능력 향상
- CNN(ResNet, VGG)에서도 높은 수준의 결함 복구 성능 확인
안전 필수 (safety-critical) 애플리케이션에 사용되는 심층 신경망 (Deep Neural Networks, DNNs)은 네트워크 가중치를 손상시키고 신뢰성을 저하시키는 하드웨어 및 메모리 결함에 취약합니다. 본 논문에서는 각 레이어 내의 공간적 특성을 기반으로 결함이 있는 가중치를 복구하는 무게 중심 (Center of Gravity, CoG) 유도 가중치 교정 방법을 제안합니다. 제안된 접근 방식은 거리 인식 교정 규칙 (distance-aware correction rules)을 사용하여 가중치 결함을 탐지하고 교정하며, 재학습이나 구조적 수정의 필요성을 제거합니다. 하드웨어 결함 허용 능력 측면에서 제안된 방법의 효과는 다양한 비트 오류율 (Bit Error Rates, BERs)에서 결함 주입 (fault injection)을 수행함으로써 평가되었습니다. 질병 진행 추적을 위한 StageNet 및 심장 이상 탐지를 위한 MTFNet을 포함한 안전 필수 LSTM 기반 네트워크에 대한 실험 결과, $10^{-3}$의 BER에서 무시할 만한 정확도 손실과 함께 각각 최대 230배 및 6.41배의 결함 허용 능력 향상을 입증했습니다. 합성곱 신경망 (Convolutional Neural Networks, CNNs)으로 확장했을 때, 이 방법은 ResNet-18 및 VGG-16에서 유사한 결함 조건 하에 각각 최대 49.55배 및 20.79배의 향상을 달성했습니다. 우리가 알고 있는 바로는, 이는 모델 신뢰성을 향상시키기 위해 신경망 가중치 텐서에 CoG 개념을 적용한 첫 번째 연구입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기