HERCULES: 하드웨어 효율성, 내구성, 지속적 학습을 위한 신경 구조 탐색

신경 구조 탐색 (Neural Architecture Search, NAS) 은 정확도와 효율성을 균형 있게 갖춘 신경 구조를 자동으로 발견하는 강력한 프레임워크로 등장했습니다. 그러나 AI 가 정적인 벤치마크에서 실제 배포 환경으로 전환함에 따라, 하드웨어 인식 효율성에 대한 전통적인 초점은 더 이상 충분하지 않습니다. 우리는 현대적인 NAS 방법들, 특히 엣지 AI 를 목표로 하는 방법들이 효율성 (Efficiency), 내구성 (Robustness), 지속적 학습 (Continual Learning) 을 포괄하는 삼중 목표 (triple objective) 를 해결하기 위해 진화하고 있음을 관찰했습니다. 효율성은 자원 제약 환경에서의 실행 가능성을 보장하고, 내구성은 환경 변화에 대한 신뢰성을 보장하며, 지속적 학습은 재앙적 망각 (catastrophic forgetting) 없이 순차적 작업에 적응할 수 있는 능력을 제공합니다. 우리는 이 삼중 렌즈를 통해 NAS 접근법을 분류하여, 자원 최적화, 환경 탄력성, 구조적 가소성을 목표로 하는 방법들을 구별했습니다. 이러한 통합된 관점은 이러한 축들이 종종 개별적으로 연구되지만 상호 보완적임을 보여줍니다. 이 분류에 기반하여, 우리는 현재 이러한 NAS 방법들의 경향도를 하드웨어 효율성, Robustness, ContinUal LEarning Search (HERCULES) 라는 새로운 프레임워크로 매핑했습니다. 우리는 HERCULES 의 열두 가지 노동 (desiderata) 을 정의하여, 다중 목표 NAS 의 막대한 계산 비용을 고려한 적절한 탐색 공간 탐색과 균형이라는 비자명한 과제를 해결합니다. 기존 연구의 중요한 공백을 식별함으로써, 이 조사는 진정한 배포 가능한 평생 학습 AI 시스템으로 가는 통합 알고리즘적, 구조적, 하드웨어 - 소프트웨어 공동 설계 (co-design) 로 가는 로드맵을 제시합니다.