Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
스트리밍 데이터 환경에서 도메인 적응을 위한 최초의 온라인 분산 감소(SVR) 알고리즘인 ARROW를 제안합니다. MMD와 CORAL 손실 함수를 활용하여 미니배치에 적응적으로 가중치를 재설정함으로써 오프라인 알고리즘 수준의 성능을 구현합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기본 논문은 최대 평균 불일치 (Maximum Mean Discrepancy, MMD) 및 상관관계 정렬 (Correlation Alignment, CORAL) 손실 함수를 위한 확률적 분산 감소 (Stochastic Variance Reduction, SVR) 문제를 연구합니다. 이러한 손실 함수들에 대해 다양한 오프라인 SVR 알고리즘들이 제안되어 왔으나, 이들은 온라인, 분산 또는 점진적 학습 (Incremental Learning) 환경과는 호환되지 않습니다. 본 논문은 스트리밍 데이터를 위한 MMD 및 CORAL용 최초의 온라인 SVR 알고리즘인 ARROW (Adaptive vaRiance Reduction via Online reWeighting)를 제시합니다. 이 방법은 정렬 통계량 (Alignment Statistics)의 이동 평균 참조값 (Moving Average References)을 유지하며, 미니배치 (Minibatch)와 참조 통계량이 일치하도록 들어오는 미니배치에 적응적으로 가중치를 재설정 (Reweighting)합니다. 나아가, 이어지는 가중치 최적화 문제 (Weight-optimisation Problem)를 다룰 수 있도록 완화된 재가중치 부여 방식 (Relaxed Reweighting Scheme)을 제안합니다. 실험 및 시뮬레이션을 통해, ARROW가 실행 시간, 달성된 분산 감소 정도, 그리고 타겟 도메인 정확도 측면에서 오프라인 알고리즘과 경쟁력 있는 성능을 보임을 입증합니다.