더 많은 5B 범용 이미지 모델이 정말 필요할까요?

동일한 프롬프트. 3 MP. 모델당 네 번의 생성. 가장 좋은 이미지를 선택했습니다. 제가 계속 목격하는 패턴은 다음과 같습니다: 더 큰 DiT(Diffusion Transformer)가 더 일관성 있는 이미지를 생성하는 경향이 있습니다. 더 깨끗한 모양, 더 잘 정의된 객체, 그리고 시각적 쓰레기가 적습니다. 기계 구조는 더 말이 되고, 공간적 관계는 더 잘 유지되며, 사용 불가능한 결과물이 적게 나옵니다. 이것은 단 하나의 프롬프트에서 도출된 결론이 아닙니다. 시간이 지남에 따라 다양한 모델을 작업하면서 얻은 관찰입니다. 이 테스트는 그 패턴의 단순한 예시일 뿐입니다. 저는 정밀도(full precision)가 낮은 작은 모델보다는 INT4로 구동되는 더 큰 모델을 선호합니다. FLUX 2 Klein 9B는 완벽한 예시입니다: 제 테스트에 따르면, 업데이트된 FLUX 3 워크플로우를 사용하더라도 거의 모든 이미지 품질 측면에서 FLUX 3 Klein보다 우수했습니다. 저의 가설은 작은 DiT가 강력한 범용 이미지 모델이 되기 위해 충분한 개념을 학습하고 구별하는 데 어려움을 겪는다는 것입니다. 이들은 좁은 범위 내에서는 탁월할 수 있지만, 그 범위를 벗어나면 무너질 수 있습니다. 제 경험에 따르면 선호되는 범위는 다음과 같습니다: • 12–16B DiT: 최적의 지점(sweet spot). • 9–10B: 이미 경계선에 가깝습니다. • 약 5B: 범용 모델에게는 너무 많은 타협을 요구합니다. 16B를 넘어서면 수익 감소(diminishing returns)가 예상되지만, 이 테스트가 명확한 마감점을 설정한다고 주장하지는 않겠습니다. 또한 저는 거대한 텍스트 인코더가 필요하다는 확신이 없습니다. 제가 신경 쓰는 텍스트-이미지 작업의 경우, 충분한 성능을 가진 4B 인코더만으로도 종종 충분해 보입니다. DiT에 더 많은 용량을 보는 것이 좋을 것 같습니다. 모델들을 4비트 양자화(quantization)를 통해 접근 가능하게 만드세요. INT4 DiT와 INT4 텍스트 인코더를 사용한 Krea 2는 제 환경에서 8 GB GPU로 잘 실행됩니다. https://preview.redd.it/5d1eq0k6c3wh1.png?width=2880&format=png&auto=webp&s=e2eba962f30556786476b08d313c249c85c9f3fa https://preview.redd.it/5ug1s167c3wh1.png?width=2247&format=png&auto=webp&s=ae3b695426ab1c240043d127915e007cc496b3ec /u/TRlG0N 제출 [링크] [댓글]