24시간 속도전: 최신 트릭들을 결합한 Text-to-Image 모델 학습 가이드

요약

본 글은 기존에 개별적으로 검증했던 다양한 Diffusion Model의 최신 트레이닝 기법들을 하나로 통합하여, 제한된 컴퓨팅 예산(24시간, $1500) 내에서 Text-to-Image 모델을 학습시키는 실질적인 방법을 제시합니다. 핵심 내용은 픽셀 공간 (pixel space)에서의 직접 예측 방식을 채택하고, LPIPS 및 DINOv2 기반의 지각 손실(perceptual loss)을 추가하여 성능과 수렴 속도를 극대화하는 것입니다. 또한 TREAD를 활용한 토큰 라우팅(token routing)과 REPA를 이용한 표현 정

핵심 포인트

• **픽셀 공간 (Pixel Space) 직접 학습:** VAE 없이 텍스트-이미지 모델을 픽셀 단위로 직접 예측하는 방식을 채택하여, 계산의 단순성과 클래식 컴퓨터 비전 기법 재활용이 용이합니다.
• **다중 지각 손실 결합:** 표준 Flow Matching 목적 함수 외에 LPIPS와 DINOv2 기반의 지각 손실을 추가하여, 모델의 수렴 속도 및 최종 시각적 품질을 크게 향상시킵니다.
• **효율적인 계산 최적화:** TREAD (Token Routing)를 사용하여 토큰 일부가 트랜스포머 블록을 우회하게 함으로써, 컴퓨팅 자원 사용 효율성을 높이고 학습 비용을 절감합니다.
• **고급 정렬 및 최적화 기법 적용:** REPA(Representation Alignment)와 Muon 옵티마이저를 결합하여 표현 공간의 일관성을 유지하고, Adam 대비 성능 개선 효과를 얻었습니다.