본문으로 건너뛰기

© 2026 Molayo

arXiv논문2026. 06. 01. 11:01

엔트로피 투영 정렬 (Entropic Projection Alignment): 분포 변화 (Distribution Shift) 상황에서의 모델

요약

분포 변화(Distribution Shift) 상황에서 모델 성능을 추정하고 개선하기 위한 통합 프레임워크인 EPA를 제안합니다. KL 발산 최소화와 모멘트 매칭을 통해 소스 분포를 타겟에 정렬하며, 높은 계산 효율성과 강건성을 입증했습니다.

핵심 포인트

  • 분포 변화 대응을 위한 EPA 프레임워크 제안
  • KL 발산 최소화 및 모멘트 매칭을 통한 도메인 정렬
  • 중요도 가중치에 대한 고유한 폐형 해 산출
  • 기존 SOTA 모델 대비 높은 계산 효율성 및 성능 입증

우리는 분포 변화 (Distribution Shift)의 세 가지 핵심 과제를 해결하기 위한 통합 프레임워크를 제안합니다: (1) 레이블이 없는 타겟 도메인 (Target Domain)에서의 모델 성능 추정, (2) 원인이 되는 특징 (Features)을 식별하여 변화를 설명하는 것, 그리고 (3) 타겟 도메인 성능을 개선하는 것입니다. 우리의 방법론인 엔트로피 투영 정렬 (Entropic Projection Alignment, EPA)은 소스 (Source)로부터의 KL 발산 (KL Divergence)을 최소화하는 동시에, 신중하게 선택된 모멘트 (Moments)를 매칭함으로써 소스 분포를 타겟에 정렬합니다. 이러한 정식화는 중요도 가중치 (Importance Weights)에 대한 고유한 폐형 해 (Closed-form Solution)를 산출하며, 암묵적인 분산 제어 (Variance Control)를 통해 강건성 (Robustness)을 달성합니다. 도메인 적응 (Domain Adaptation) 이론에 기반하여, 우리는 전체 밀도 비율 회복 (Full Density Ratio Recovery)의 필요성 없이 모멘트 매칭 (Moment Matching)만으로도 신뢰할 수 있는 추정과 적응이 충분하다는 것을 입증합니다. 강력한 이론적 보증과 함께 수행된 광범위한 실험을 통해, EPA가 상당한 계산 효율성을 제공하는 동시에 최신 베이스라인 (State-of-the-art Baselines) 모델들을 일관되게 능가함을 보여줍니다.

AI 자동 생성 콘텐츠

본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
0

댓글

0