데이터 증강 (Data Augmentation): 푸리에 분석 (Fourier Analysis) 관점

데이터 증강 (Data Augmentation)은 학습 문제에서 알려진 불변성 (invariances)을 활용하기 위한 단순하고 모델 불가지론적 (model-agnostic)인 접근 방식입니다. 입력 공간 (input space)에 작용하는 군 (group)이 주어지면, 각 샘플의 변환된 복사본들로 학습 세트를 증강합니다. 데이터 증강은 기저의 학습 알고리즘을 수정하지 않고 대칭성 (symmetries)을 활용하기 때문에, 다양한 학습 방법론에 폭넓게 적용될 수 있습니다. 그러나 이러한 보편성은 계산 비용이라는 대가를 수반합니다. 군 (group)의 크기가 클 경우, 전체 군 크기에 맞춘 증강은 계산적으로 빠르게 불가능해집니다. 이는 근본적인 질문을 제기합니다: 부분적인 데이터 증강이 일반화 (generalization) 및 샘플 복잡도 (sample complexity) 측면에서 전체 증강과 동일한 통계적 이점을 달성할 수 있는가? 우리는 푸리에 분석 (Fourier analysis)과 유한 군 (finite groups)의 표현론 (representation theory)을 사용하여 이 질문을 조사하기 위한 일반적인 프레임워크를 개발합니다. 우리는 광범위한 고전적 학습 문제 클래스에 대해, 군 원소의 무작위로 샘플링된 부분 집합에 기반한 부분적 데이터 증강이 부분 집합의 크기가 증가함에 따라 사라지는 근사 오차 (approximation error)를 제외하고는 전체 증강과 동일한 미니맥스 속도 (minimax rates)를 달성함을 보여줍니다. 우리의 결과는 왜 부분적 증강이 대칭성을 근사적으로만 강제함에도 불구하고 전체 증강의 통계적 이점을 유지할 수 있는지에 대한 이론적 설명을 제공하며, 대칭성을 가진 학습 (learning with symmetries)에서 최근 제기된 질문, 즉 일반적인 군 불변성 (group invariances) 하에서 통계적으로 최적인 학습이 계산적으로 확장 가능한 방법을 통해 달성될 수 있는지에 대해 통찰을 제공합니다. 또한, 우리는 상호 보완적인 불가능성 결과 (impossibility result)를 증명합니다: 데이터 증강을 통해 정확한 불변성 (exact invariance)을 강제하려면 전체 군에 대해 평균을 내야 하며, 가설 공간 (hypothesis space)이 충분히 표현력이 높을 때 엄격한 부분 집합으로는 이를 달성할 수 없습니다. 종합적으로, 이러한 결과들은 전체 및 부분 데이터 증강, 그리고 정확한 대칭성 강제 및 근사적 대칭성 강제에 대한 통합된 관점을 제공합니다.