공식 diffusers 라이브러리를 파헤치며 현대적인 확산 모델 (diffusion models)을 공부하려고 시도해 보셨다면, 그 복잡성과 추상화로 인해 압도될 수 있다는 점을 알고 계실 것입니다.

저는 FLUX 확산 모델을 단순화하고 싶었고, 그래서 핵심 아키텍처와 수학에 집중한 PyTorch 구현체인 minFLUX를 만들었습니다. 프로젝트 링크는 다음과 같습니다: https://github.com/purohit10saurabh/minFLUX

포함된 내용:

• VAE 및 트랜스포머 (transformer) 모델을 포함한 최소한의 FLUX.1 + FLUX.2 구현
• HuggingFace diffusers 소스 코드와의 라인별 매핑
• 학습 루프 (VAE 인코딩 (encode) → 플로우 매칭 (flow matching) → 속도 MSE (velocity MSE))
• 추론 루프 (노이즈 (noise) → Euler ODE → VAE 디코딩 (decode))
• 공유 유틸리티 (RoPE, 타임스텝 임베딩 (timestep embeddings))

저에게 가장 흥미로웠던 부분은 FLUX.2가 단순히 확장된 FLUX.1이 아니라는 점을 확인한 것이었습니다. FLUX.2는 트랜스포머 블록 (transformer blocks), 변조 (modulation), FFN, VAE 정규화 (normalization), 위치 ID (position IDs) 등을 개선했습니다. FLUX.2의 아키텍처 개요를 첨부합니다.

이 내용이 흥미롭다면 알려주세요! 🙂
https://preview.redd.it/9evuthx2vg8h1.jpg?width=1080&format=pjpg&auto=webp&s=47e4f72f4751e1c11d3928f6dcb43c9e96cbbc0b
submitted by /u/Other-Eye-8152 to r/MachineLearning
[link] [comments]