자동화된 파이프라인 탐색을 통한 4-Expert 이종 Mixture-of-Experts의 체계적 탐색

요약

LEMUR 데이터셋을 활용하여 이종 4-Expert Mixture-of-Experts(MoE4) 아키텍처를 자동으로 탐색하는 파이프라인을 제안합니다. 대규모 탐색 과정에서 발생한 커버리지 편향 문제를 식별하고, 층화 추출을 통한 개선 방안과 최적의 앙상블 조합을 도출했습니다.

핵심 포인트

• 자동화된 코드 조립 생성기를 통한 MoE4 아키텍처 탐색
• 탐색 과정 중 특정 모델군에 편향되는 커버리지 편향 문제 발견
• ShuffleNet과 MobileNetV3의 높은 앙상블 성능 확인
• 층화 추출(stratified random sampling)을 통한 탐색 개선 제안
• NNGPT 오픈 소스 프로젝트를 통해 연구 결과 공개