Heavy-Tailed Flow Matching을 위한 Tail Annealing

요약

표준 생성 모델이 헤비 테일(heavy-tailed) 데이터를 처리할 때 발생하는 한계를 극복하기 위해 'Tail Annealing' 기법을 제안합니다. 데이터에 소프트 로그 변환을 적용하여 멱법칙 꼬리를 지수 분포로 매핑함으로써, 아키텍처 수정 없이도 Flow Matching이 헤비 테일 데이터를 효과적으로 생성할 수 있도록 합니다.

핵심 포인트

• Lipschitz 아키텍처가 가우시안 노이즈로부터 멱법칙 꼬리를 생성하지 못하는 문제를 해결함
• 소프트 로그 변환($\phi(x) = \mathrm{sign}(x) \cdot \log(1 + |x|)$)을 통해 헤비 테일을 표준 Flow Matching이 처리 가능한 범위로 압축
• Hill 진단을 사용하여 좌표별로 변환 여부를 결정함으로써 라이트 테일 마진을 보존
• 다변량 벤치마크 결과 $W_1$, CVaR$_{99}$, 극단적 분위수 지표에서 기존 베이스라인을 압도함
• 2,880회의 실행 중 발산(divergence)이 발생하지 않은 유일한 방법임