볼록 학습 (Convex Learning)과 비-아핀 집계 (Non-Affine Aggregation)의 위험한 결합

1차 볼록 학습 (first-order convex learning)에서의 마지막 반복 수렴 (last-iterate convergence) 및 일반화 보증 (generalization guarantees)은 업데이트 연산자 (update operator)의 단조성 (monotonicity)에 달려 있습니다. 선형 평균 (linear averaging)은 그래디언트 (gradient) 업데이트의 단조성을 보존하지만, 적응성 (adaptivity), 개인정보 보호 (privacy), 강건성 (robustness) 또는 공정성 (fairness)과 같은 제약 조건을 강제하는 현대적 파이프라인에서처럼 그래디언트가 비-아핀 (non-affinely) 방식으로 집계될 때는 이 속성이 위반되는 경우가 많습니다. 단조성을 유지하는 비-아핀 집계 규칙을 설계하는 것이 가능한지는 미해결 문제로 남아 있었습니다. 우리는 이 질문에 대해 부정적으로 답합니다. 즉, 집계된 그래디언트의 단조성은 집계 규칙이 양의 아핀 (positively affine)인 경우에만 보존된다는 것을 증명합니다. 결과적으로, 비-아핀 집계는 안정적인 수렴을 방해하고 알고리즘의 안정성을 실질적으로 저하시킵니다. 우리는 이러한 단점들을 정량화하고, 단조성을 복구할 수 있는 충분 조건 (sufficient conditions)을 식별함으로써 향후 나아갈 방향을 제시합니다. 우리의 연구 결과는 현대 학습 시스템에서 관찰되는 이질적인 실패 모드 (failure modes)를 설명하는 통합된 이론적 프레임워크를 제공합니다.