분산 신경망 구조 탐색(NAS)을 이용한 최적화된 연합 지식 증류 (Optimized Federated Knowledge

연합 학습 (Federated Learning, FL)은 데이터를 중앙 집중화하지 않고도 협력적인 모델 학습을 가능하게 합니다. 그러나 실제 배포 환경에서는 클라이언트 데이터 간의 통계적 이질성 (non-IID), 기기 성능의 시스템적 이질성, 그리고 통신 효율성을 동시에 해결해야 합니다. 기존의 FL 접근 방식들은 개선된 집계 (aggregation), 개인화 (personalization), 또는 지식 증류 (knowledge distillation)를 통해 이러한 과제들을 완화하지만, 거의 예외 없이 고정된 클라이언트 아키텍처를 가정하며, 이는 이질적인 데이터 복잡성과 하드웨어 제약에 대한 적응성을 제한합니다. 이러한 아키텍처적 제약은 실제 FL 시스템에서 정확도와 효율성 사이의 최적화되지 않은 트레이드오프 (trade-off)를 초래하는 경우가 많습니다.

본 연구에서는 클라이언트 측의 신경망 구조 탐색 (Neural Architecture Search, NAS)과 서버가 조정하는 지식 증류를 결합한 증류 기반 FL 프레임워크인 FedKDNAS를 소개합니다. 각 클라이언트는 정확도-자원 제약 조건 하에서 경량 모델을 자율적으로 선택합니다. 그런 다음 지도 학습 (supervised learning)과 지식 증류를 결합한 하이브리드 목적 함수를 사용하여 로컬에서 모델을 학습시키고, 공개 참조 데이터셋에 대한 예측값만을 공유합니다. 서버는 이러한 예측값들을 집계하고 평활화 (smoothing)하며, 선택적으로 이를 교사 모델 (teacher model)과 결합하여 다음 라운드를 위한 안정적인 증류 타겟을 생성합니다.

6개의 데이터셋과 6개의 대표적인 FL 베이스라인 (FedAvg, Ditto, FedMD, FedDF, FedDistill, Local-KD)을 대상으로 한 광범위한 평가 결과, FedKDNAS는 일관되게 우수한 파레토 효율성 (Pareto efficiency)을 달성함을 입증했습니다. 특히 non-IID 조건에서 정확도를 최대 15% 향상시키고, 클라이언트 CPU 사용량을 약 28% 감소시키며, 경량 로짓 기반 (logit-based) 통신을 유지하면서도 통신 오버헤드를 최대 44배까지 줄였습니다.