물리적 신경망의 강건한 공동 설계를 위한 LLM 가이드 신경망 구조 탐색 (LLM-Guided Neural Architecture Search)

비전형적인 하드웨어(unconventional hardware)에 신경망을 배포하려면 작업 정확도(task accuracy)와 에너지 비용, 물리적 비이상성(physical non-idealities), 수치 정밀도(numerical precision)와 같은 플랫폼별 제약 조건을 공동 최적화(co-optimize)하는 아키텍처가 필요합니다. 기존의 신경망 구조 탐색 (Neural Architecture Search, NAS) 방법들은 일반적으로 단일 하드웨어 제품군에 맞춰져 있어, 플랫폼 간 비교 및 일반화에 한계가 있습니다. 본 논문에서는 언어 모델(Language Models, LLM)을 진화 연산자(evolutionary operators)로 통합하여 정확도와 추론 에너지(inference energy)를 공동 최적화하는 하드웨어 불가지론적(hardware-agnostic) LLM 가이드 NAS 프레임워크인 Unconventional Hardware Neural Architecture Search (UH-NAS)를 소개합니다. UH-NAS는 하드웨어를 플랫폼별 에너지 모델, 물리적 제약 조건 및 비이상성 시뮬레이터(non-ideality simulators)를 갖춘 교체 가능한 백엔드(swappable backend)로 노출함으로써, 탐색 알고리즘을 수정하지 않고도 다양한 백엔드에 대해 공정한 시스템 수준의 비교를 가능하게 합니다. 광학 MZI 하드웨어에서 테스트한 결과, UH-NAS는 기존의 LLM-to-NAS 접근 방식보다 뛰어난 성능을 보이면서도 기존 베이스라인보다 더 다양하고 강건한(robust) 아키텍처를 발견했습니다. 비이상성 하에서의 아키텍처 강건성과 시스템 프롬프트(system prompts)의 역할에 대한 추가적인 절제 연구(ablations)는 신흥 컴퓨팅 플랫폼을 위한 아키텍처-하드웨어 공동 설계(architecture-hardware co-design)의 중요성을 강조합니다.