24시간 속도전: 최신 트릭들을 결합한 Text-to-Image 모델 학습 가이드

본 글은 Diffusion Model 기반 Text-to-Image 모델을 단 24시간이라는 엄격한 컴퓨팅 예산($1500) 내에서 학습시키는 실질적인 '속도전' 가이드를 제공합니다. 기존의 개별 트릭 검증을 넘어, 가장 유망한 여러 기술들을 통합하여 성능 향상과 효율성을 동시에 달성하는 것이 목표입니다.

1. 픽셀 공간 (Pixel Space) 직접 예측 방식 채택:
모델 학습 시 VAE(Variational Autoencoder)를 거치지 않고, x-prediction formulation을 통해 픽셀 공간에서 노이즈 제거(Denoising)를 직접 수행합니다. 이는 계산 과정을 단순화하고, 고해상도에서도 관리 가능한 수준으로 유지할 수 있게 합니다. 또한 이 방식은 클래식 컴퓨터 비전 분야의 지각 손실(perceptual loss) 기법을 원래 의도대로 쉽게 적용할 수 있다는 큰 장점을 가집니다.

2. 다중 지각 손실 (Perceptual Losses) 추가:
모델 성능 향상을 위해 두 가지 보조 손실 함수를 도입합니다. 첫째는 LPIPS(Learned Perceptual Image Patch Similarity)이며, 저수준의 지각적 유사성을 포착합니다. 둘째는 DINOv2 기반의 지각 손실로, 더 강력한 의미론적 신호(semantic signal)를 제공합니다. 이들은 표준 Flow Matching 목적 함수와 결합되어 모델이 예측하는 깨끗한 이미지가 목표 이미지와 지각 특징 공간에서 일치하도록 유도하며, 이는 수렴 속도와 최종 시각 품질을 동시에 개선합니다.

3. 계산 효율성 극대화 전략:
학습 비용을 낮추고 효율성을 높이기 위해 두 가지 핵심 최적화 기법이 사용됩니다.

• TREAD (Token Routing): 트랜스포머의 토큰 일부를 무작위로 선택하여 연속적인 블록 청크를 건너뛰게 한 후 나중에 재주입합니다. 이를 통해 계산량을 줄이고 학습 속도를 높입니다. 이 글에서는 SPRINT 대신 TREAD가 더 단순하고 효과적이었음을 강조합니다.
• REPA (Representation Alignment): 표현 공간의 정렬을 위해 사용됩니다. DINOv3와 같은 강력한 Teacher 모델을 사용하여, 특정 트랜스포머 블록에서 계산된 특징(feature)이 목표 이미지의 특징과 일치하도록 강제하여 표현의 일관성을 유지합니다.

4. 최적화 및 구현 세부 사항:
최적화 과정에서는 Muon 옵티마이저를 사용하여 2D 파라미터에 적용하고, 나머지 요소는 Adam으로 처리하는 하이브리드 방식을 채택하여 성능 개선을 확인했습니다. 이처럼 다양한 첨단 기법들을 통합적으로 활용함으로써, 제한된 자원 내에서도 최첨단 수준의 Text-to-Image 모델 학습이 가능함을 입증합니다.