포인트 클라우드 분류를 위한 연합 학습 (Federated Learning) 및 지식 증류 (Knowledge Distillation) 벤치마킹

요약

3D 포인트 클라우드 분류를 위해 연합 학습(FL)과 지식 증류(KD)를 결합한 멀티 시드 벤치마크 연구를 제시합니다. 연구 결과, 비독립 동일 분포(non-IID) 환경에서 FL의 성능 저하와 증류 과정에서의 레이블 재사용 문제를 지적하며, 레이블 없는 증류(label-free distillation) 사용을 권장합니다.

핵심 포인트

• 13개의 FL 알고리즘과 10개의 KD 목적 함수를 활용한 대규모 벤치마크 수행
• 극단적인 non-IID 환경에서 단독 연합 학습의 급격한 성능 저하 확인
• 지식 증류를 통해 모델 크기를 74.51% 압축하고 추론 속도 2배 향상 가능
• 기존 FL-KD 파이프라인에서 프록시 레이블로 인한 성능 왜곡 현상 발견
• 정확한 평가를 위해 레이블 없는 증류(label-free distillation) 권장