OrderDP: 이론적으로 보장되는 무손실 동적 데이터 프루닝 (Dynamic Data Pruning) 프레임워크

데이터 프루닝 (Data Pruning, DP)은 무거운 학습 부담을 완화하기 위해 자주 언급되는 전략으로서, 잘 정의된 프루닝 (pruning) 방법에 따라 학습 샘플의 양을 줄이면서도 거의 무손실 (near-lossless)에 가까운 성능을 목표로 합니다. 그러나 일반적으로 정보량이 많은 샘플을 선택하는 기존 방식들은 전체 데이터셋 학습과 비교했을 때 편향된 그래디언트 추정 (biased gradient estimation)을 초래할 수 있습니다. 더욱이, 이러한 편향과 그것이 최종 성능에 미치는 영향에 대한 분석은 여전히 모호한 상태로 남아 있습니다. 이러한 과제를 해결하기 위해, 우리는 이론적 보장과 함께 안정적이고 편향되지 않으며 거의 무손실인 학습 가속화를 목표로 하는 플러그 앤 플레이 (plug-and-play) 프레임워크인 OrderDP를 제안합니다. 구체적으로, OrderDP는 먼저 하위 집합을 무작위로 선택한 다음 상위 $q$개의 샘플을 선택하며, 이때 대리 손실 (surrogate loss)에 대해 편향되지 않음 (unbiasedness)이 확립됩니다. 이는 OrderDP가 대리 목적 함수 (surrogate objective) 관점에서 편향되지 않은 학습을 수행함을 보장합니다. 우리는 더 나아가 수렴 (convergence) 및 일반화 (generalization) 분석을 확립하여, OrderDP가 최적의 성능에 어떻게 영향을 미치는지, 그리고 보장된 최종 성능을 유지하면서 어떻게 잘 제어된 가속화를 가능하게 하는지를 규명합니다. 실험적으로, 우리는 CIFAR-10, CIFAR-100, ImageNet-1K에서 종합적인 베이스라인 (baselines)과 비교하여 OrderDP를 평가하였으며, 더 단순한 설계와 빠른 실행 시간으로 학습 비용을 40% 이상 절감하면서도 경쟁력 있는 정확도, 안정적인 수렴, 그리고 정밀한 제어를 입증했습니다. 강력한 성능과 계산 효율성을 모두 제공하는 우리의 방법론은 데이터 효율적 학습 (data-efficient learning)을 위한 견고하고 쉽게 적응 가능한 도구 역할을 합니다. 코드는 https://github.com/shengze-xu/OrderDP 에서 공개적으로 사용할 수 있습니다.