트랜스포머 기반 군집 지능을 활용한 경제적인 신경망 구조 탐색

원문 발행 2026. 07. 14. 02:18원문 언어 영어AI 한국어 번역arXiv cs.LG 원문 보기

요약

본 논문은 막대한 컴퓨팅 자원을 요구하는 신경망 구조 탐색(NAS)의 한계를 극복하기 위해 경제적이고 기억 기반의 NAS 프레임워크를 제안합니다. 이 방법은 강화학습 트랜스포머와 인공 벌 군집 알고리즘을 결합하여 전역 및 국소 최적화를 수행합니다. 표준 소비자급 GPU에서도 효율적인 아키텍처를 발견할 수 있음을 CIFAR-10 및 사기 탐지 데이터셋에서 입증했습니다.

핵심 포인트

RL 트랜스포머와 ABC 알고리즘을 결합한 하이브리드 NAS 프레임워크 제안
소비자급 GPU에서도 효율적인 아키텍처 설계가 가능함
동적 엔트로피 메커니즘으로 조기 수렴 방지 및 탐색 강제
파라미터 페널티를 통해 모델 비대화(Model Bloat) 완화 효과 입증

신경망 구조 탐색 (NAS)은 딥러닝 모델 설계를 자동화했지만, 전통적으로는 수천 GPU-day로 측정되는 막대한 컴퓨팅 자원을 필요로 합니다. 본 논문에서는 소비자급 하드웨어에서도 아키텍처 설계를 민주화하도록 설계된 경제적이고 기억 기반의 NAS 프레임워크를 제안합니다. 저희 접근 방식은 강화학습 (RL)을 통해 훈련된 자기회귀 트랜스포머 컨트롤러의 전역 거시 탐색 능력과 인공 벌 군집 (ABC) 알고리즘의 국소 미세 활용 능력을 결합합니다. RL 단계에서 조기 수렴을 방지하기 위해, 성능 정체 감지 시 위상적 탐색을 강제하는 동적 엔트로피 메커니즘을 도입했습니다. 표준 GPU(NVIDIA RTX 3060)에서 평가한 결과, 저희 하이브리드 방법은 메타휴리스틱에 내재된 '콜드 스타트' 문제를 효과적으로 해결합니다. 네트워크 깊이에 알고리즘적으로 페널티를 부여함으로써, 저희 프레임워크는 모델 비대화를 적극적으로 완화합니다: CIFAR-10 데이터셋에서 3시간의 탐색 시간 만에 $ ext{ResNet-20}$과 같은 표준 기준선보다 훨씬 작은 약 174,000개의 파라미터로 84.85%의 정확도에 도달하는 효율적인 아키텍처를 발견했습니다. 나아가, 신용카드 사기 탐지에 적용하여 프레임워크의 유연성을 입증했으며, 고도로 불균형한 테이블 형식 데이터에서 F1-Score를 직접 최적화하여 약 4,600개의 파라미터를 가진 간결한 네트워크로 0.71의 F1-Score에 도달했습니다. 이러한 결과는 저희 접근 방식이 엣지 배포에 적합한 맞춤형, 접근 가능하며 고도로 파라미터 효율적인 딥러닝 모델을 산출할 수 있음을 시사합니다.

AI 자동 생성 콘텐츠

원문 바로가기

트랜스포머 기반 군집 지능을 활용한 경제적인 신경망 구조 탐색

요약

핵심 포인트

댓글