텍스트-이미지 모델 훈련 설계: Ablation 연구를 통한 교훈

요약

본 글은 텍스트-이미지(Text-to-Image) 기반의 대규모 파운데이션 모델을 처음부터 효율적으로 학습시키는 과정을 다룬 두 번째 시리즈입니다. 기존 아키텍처 논의를 넘어, 실제 모델 성능 향상에 결정적인 영향을 미친 '훈련 설계' 요소들에 초점을 맞춥니다. 연구진은 다양한 최신 훈련 기법(예: Representation Alignment, 추가 손실 함수)을 실험적으로 검증하고, 각 방법론이 수렴 속도와 표현 학습 능력에 미치는 영향을 분석합니다. 이 보고서는 단순한 기술 나열이 아닌, 기준점(Baseline) 대비 성능 개선

핵심 포인트

• 연구진은 1.2B 파라미터의 PRX 모델을 기준으로 삼고, Flux VAE 잠재 공간에서 10만 스텝 동안 학습하는 엄격한 Baseline 환경을 설정했습니다.
• 모델 평가를 위해 FID (Fréchet Inception Distance), CMMD (CLIP Maximum Mean Discrepancy), DINO-MMD 등 다각적인 지표와 함께 네트워크 처리량(Network throughput)을 사용합니다.
• 훈련 효율성을 높이기 위한 주요 방법론으로 Representation Alignment, Training Objectives 추가, Token Routing 및 Sparsification 기법 등을 그룹화하여 실험했습니다.
• Representation Alignment는 노이즈 제거 목적 외에 강력한 사전 학습된 비전 인코더를 이용해 중간 특징을 직접 감독(supervise)하는 보조 손실 함수를 추가함으로써 초기 학습 속도를 높입니다.