Heavy-Tailed Flow Matching을 위한 Tail Annealing

표준 생성 모델(Standard generative models)은 헤비 테일(heavy-tailed) 데이터 처리에 어려움을 겪습니다. Lipschitz 아키텍처(Lipschitz architectures)는 가우시안 노이즈(Gaussian noise)로부터 멱법칙 꼬리(power-law tails)를 생성할 수 없으며, 헤비 테일 데이터와 가우시안 사이를 보간(interpolating)하는 것은 부적절한 문제(ill-posed)가 됩니다. 우리는 간단한 해결책을 제안합니다: 학습 전 데이터에 대해 좌표별로 소프트 로그 변환(soft-log transform) $φ(x) = \mathrm{sign}(x) \cdot \log(1 + |x|)$를 적용한 다음, 생성 후 샘플에 지수 함수(exponentiate)를 적용하는 것입니다. Hill 진단(Hill diagnostic)을 통해 좌표별로 변환 여부를 결정함으로써, 추가적인 복잡성 없이 라이트 테일(light-tailed) 마진(margins)은 그대로 유지합니다. 이는 헤비 테일 기반 분포(heavy-tailed base distributions)나 아키텍처 수정 없이도, 헤비 테일을 표준 Flow Matching (Flow Matching)이 성공할 수 있는 범위로 압축합니다. 우리는 이것이 왜 작동하는지에 대한 이론적 직관을 제공합니다: 로그 변환은 파레토 꼬리(Pareto tails)를 지수 분포(exponentials)로 매핑하며, 유도된 역학(induced dynamics)은 멱 변환(power transformations)을 통해 일종의 테일 어닐링(tail annealing)을 구현합니다. 144가지 설정의 다변량 벤치마크(3개의 코풀라(copulas), $d$는 최대 100, 4개의 테일 지수(tail indices))에서 Log-FM은 $W_1$, CVaR$_{99}$, 그리고 극단적 분위수(extreme-quantile) 지표에서 특화된 베이스라인(baselines)들을 압도하며, 2,880회의 실행 중 심각한 발산(divergences)이 전혀 나타나지 않은 유일한 방법입니다.