구조적 사전 확률로서의 엔트로피: DiT 신념 공간의 로그 배리어(Log-Barrier)가 음악적 다양성과 전개를 유도하는 방식

신뢰도 기반 손실 가중치(Confidence-based loss weighting)는 생성 모델에서 모델이 확신을 가지고 틀렸을 때 오류를 가속화하기 때문에 보통 피하는 방식이지만, 지도 확산 학습(Supervised diffusion training)에서는 이러한 직관이 무너집니다. 본 논문에서는 DiT 출력의 공간 에너지 분포(Spatial energy distribution) 엔트로피에서 유도된 파라미터가 없는 가중치인 Eisbach 로그 배리어(Log-barrier)를 소개합니다. 높은 엔트로피는 그래디언트(Gradient)를 감쇄시키고, 낮은 엔트로피는 이를 보존합니다. MusicCaps 데이터셋을 사용하여 Stable Audio 3 Medium을 LoRA 미세 조정(Fine-tuning)에 적용한 결과, 가중치를 적용하지 않은 학습과는 반대로 모드 붕괴(Mode collapse)가 아닌, 예상치 못한 강력한 주제적 전개, 더 명확한 음향적 차별화, 그리고 더 높은 질감적 다양성을 보여주었습니다. 이는 지도 확산 학습에서 그래디언트 방향이 정답(Ground truth)에 고정되어 있어 신뢰도가 오직 스텝 크기(Step size)만을 조절하기 때문이며, 또한 시간적 엔트로피(Temporal entropy)가 평이한 샘플의 가중치는 낮추는 반면 대비가 높은 샘플은 보존하기 때문입니다. 그 결과, 순수하게 순전파(Forward pass) 과정에서 발생하는 온라인 방식의 자기 참조적 데이터 커리큘럼(Data curriculum)이 나타나며, 분석된 노이즈 레벨 역학 및 테스트 가능한 예측을 제공합니다.