무선 분할 학습을 위한 중요도 인식 특징 희소화

무선 분할 학습(SL)은 상위 레이어를 서버로 오프로드하여 온디바이스 컴퓨팅을 줄이지만, 각 반복에서 고차원 중간 특징을 전송하는 것은 여전히 주요 통신 병목 현상으로 남아 있습니다. 기존 방법들은 크기(magnitude), 통계량 또는 클러스터링과 같은 작업에 구애받지 않는 기준을 사용하여 클라이언트 측에서 특징을 선택하며, 이는 클라이언트 측 처리를 증가시키고 비독립적이고 동일하게 분포되지 않은(non-i.i.d.) 클라이언트 데이터 조건 하에서 정확도를 저하시키는 경우가 많습니다. 본 논문에서는 중요도 인식 클래스 균형 희소화(importance-aware class-balanced sparsification, ICS)를 제안합니다. 이는 서버가 역전파(backpropagation) 중 참 클래스 로짓(true-class logit)으로부터 얻은 Grad-CAM 기반 점수를 사용하여 특징 채널을 순위화하는 경량 접근 방식입니다. 각 클래스의 점수는 클래스 균형적이고 레이블에 구애받지 않는 중요도 벡터로 집계되어, 레이블 편향(label skew) 하에서 헤드 클래스 편향(head-class bias)을 완화하며, 각 클라이언트는 이 벡터를 다음 라운드에서 재사용하여 상위-$N$ 특징 채널을 유지하고 추가적인 클라이언트 측 순방향 또는 역방향 패스를 발생시키지 않습니다. 나아가 희소화로 인해 발생하는 오차를 분리하고 고정된 통신 예산 하에서 희소화 비율과 미니 배치 크기가 수렴에 공동으로 어떻게 영향을 미치는지 특성화하는 비점근적(non-asymptotic) 수렴 경계를 도출하였으며, ICS의 통신 및 계산 오버헤드를 대표적인 기준선들과 비교 분석합니다. 순차적인 CNN 기반 SL을 넘어, ICS를 병렬 분할 학습과 트랜스포머 기반 모델로 확장하였습니다. 실험 결과는 ICS가 기존 기준선들보다 일관되게 우수하며, 특히 심각한 non-i.i.d. 파티션 조건에서 더 큰 이득을 보여줍니다.