FLUX 3 Image Klein - 56억 파라미터의 오픈 웨이트 이미지 생성/편집 모델

Reddit에서는 학습 데이터에서 NSFW에 가까운 것을 전부 제거한 탓에 인물 생성 성능이 나쁘다고 하던데, 직접 써본 분이 있는지?

로컬에서 테스트 중인데 텍스트→이미지 성능이 매우 떨어짐. ComfyUI의 기본 Flux3 Klein 템플릿과 내장 설정·프롬프트만 써도 SD 1.5 수준으로 얼굴이 반쯤 녹아내리고 신체가 기괴하게 뒤틀리는 건 좋지 않은 징후임.
Flux 2 Klein 9b도 인체 구조에 문제가 있었지만, 이번 모델은 사실상 능력을 거세한 듯한 느낌임. https://imgpb.com/wDGGs

로컬에서 조금 써봤으며, API는 거의 쓰지 않아 공식 추론 API의 결과는 모르겠음. 지금껏 써본 거의 모든 모델이 어려워하던 프롬프트를 정확히 따르기도 하지만, 다른 모델이 쉽게 처리하는 프롬프트에서는 이상하게 실패하기도 함. 고해상도 인물 생성에서는 구형 모델처럼 신체 구조가 무너져 한 사람이 화면 전체를 가로지르는 긴 스파게티처럼 변할 수 있음. 안정적인 해상도에서 장면 참조 이미지를 먼저 만든 뒤 고해상도 생성에 활용해야 할 수도 있음.
제작진은 프롬프트 “upscaler” 모델이나 시스템 프롬프트가 사실상 필수라고 하지만, 내 결과는 제각각임. 기본 프롬프트가 나을 때도, 확장한 프롬프트가 나을 때도 있어 모델의 해석 방식을 익히고 전용 프롬프트를 직접 다듬는 편이 나을 수도 있음.
반면 고해상도의 양식화된 그림 중에는 다른 모델보다 마음에 드는 훌륭한 결과도 있음. 모델마다 요구 사양, 성능, 프롬프트 준수도, 화풍이 다르고 완벽한 모델은 없으므로, 일관성이 조금 부족해도 계속 보유할 것 같음.

이미지 분야의 최신 동향은 잘 모르지만 /r/SD에서는 MOSS를 좋아하는 듯함. 눈에 띄는 건 Apache 2 라이선스임. 다른 공개 가중치 모델들은 다들 이상한 라이선스를 쓰는 것 같고, 대충 확인해 보니 Qwen-Image는 아예 상업적 사용을 금지하는 듯함.

세상 대부분의 모습에 대한 “지식”이 10GB 미만에 담겨 있다는 사실을 생각하면 정말 놀라움.

좋은 모델이 작아질수록 아주 작은 동물들이 더욱 궁금해짐.

해가 동쪽에서 떠서 서쪽으로 진다는 사실을 기억하면 매일 복잡한 예측을 하고 궤적을 그릴 필요가 없음. 지구와 태양계의 대다수 천체가 회전한다는 사실을 알면 다른 행성이나 태양계에도 이를 외삽할 수 있음.
실제 작동 방식과는 거친 비유지만, 패턴·대칭·외삽·보간을 통해 복잡한 시스템의 기술과 모델링을 훨씬 효율적으로 만들 수 있다는 점에서 압축과 지식을 보여줌.
모델은 더 나아가 엔트로피를 입력에 맡길 수 있음. 예측 가능한 구조는 모델이 활용하고, 더 압축하기 어려운 나머지 세부 정보는 입력으로 받아 허용 오차 내의 출력을 생성함. 필요한 정보량은 해당 영역에서의 모델 효율, 영역의 구조, 요구 정밀도에 따라 달라짐.
자갈 진입로를 생성한다면 학습한 분포로 그럴듯한 배열을 만들 수 있지만, 특정 배열을 재현하려면 다른 배열과 구별되는 세부 정보를 입력해야 함. 정확도를 높일수록 더 많은 정보가 필요하며, 배열 자체의 참조 이미지까지 필요할 수 있음.
최소한의 입력으로 우주의 완전한 기술을 복원할 수 있는 최소 모델은 무엇인지 등 탐구할 만한 질문이 많아짐.

1K 이미지당 0.009달러부터라면, 품질만 경쟁력이 있을 경우 상당히 매력적인 가격 아닌지? 어제 나온 Krea 3는 이미지당 0.06달러부터임.

소형 이미지 모델이 크기에 비해 비현실적으로 뛰어난 성능을 내는 듯해 놀라움. 반면 도구 사용·코딩·추론을 할 만한 LLM은 보통 최소 30B 매개변수가 필요하고, 좋은 성능을 내려면 100B를 넘어야 함.
LLM이 담는 정보가 더 많은 것인지, 확산 모델의 압축 효율이 더 좋은 것인지 궁금함. 언어 확산 모델 연구도 봤지만, 트랜스포머 계열보다 추론에 어려움이 있는 듯함.

이런 모델은 어떤 의미에서는 언어 모델의 지식을 증류한 모델임. 사전 학습된 언어 모델 없이는 이만큼 잘 작동하지 못하므로 직접 비교는 불공평함.
이미지 모델은 기본적으로 텍스트 임베딩 공간을 이미지로 대응시킴. 임베딩 공간이 명확하고 정돈돼 있을수록 프롬프트 해석에 필요한 가중치가 줄어듦. 최신 모델은 멀티모달 LLM까지 사용하며, Flux는 Qwen3 VL을 활용하므로 시각적 구분도 미리 이뤄져 효율이 더 높아짐.
더 나은 비유는 인코더·디코더의 절반이라는 것임. LLM이 사전 학습 후 고정된 인코더이고, 이미지 모델은 디코더에 해당함.

상당히 추측에 가까운 논리지만, LLM이 이미지를 손실 없이 기술할 수 있어야 한다면 이미지는 LLM이 이해해야 할 대상의 부분집합임. 따라서 이미지의 통계적 모델 자체가 더 단순할 가능성이 있음.
제대로 된 LLM은 패턴, 물리, 생물, 사회적 상호작용, 기술, 역사 등 인간 지식 전반을 모델링해야 하지만, 이미지 모델은 정지 사진 속 개의 생김새를 떠올리면 됨. 새로운 상황 전반에 능숙한 것도 아니며, 주로 전형적인 장면 생성에 쓰임.
자연 진화에서도 눈을 가진 생물의 시각 모델은 널리 생겼지만, 복잡한 언어 모델은 우리가 아는 한 소수의 원숭이 계통에만 나타남.

처음에는 확산 모델이 논증을 전개하는 명제, 즉 “사전 믿음”의 비중을 낮게 잡아 추론에 약한가 생각함. 다음에는 이미지를 포함해야 하는 관념의 세계보다 이미지의 세계가 더 작은 것인지 고민함.
지금은 그냥 이미지가 벤치마크로 평가하기 더 어려운 것일 수도 있겠다는 생각이 듦. 아니면 이미지 한 장이 실제로 천 마디 말의 가치까지는 없는지도 모르겠음.

좋은 이미지를 만들 수는 있지만 전부 비슷해 보임. 존재하는 것의 좁은 일부를 복제하는 일은 그리 어렵지 않은 듯함.

Flux 2 Klein보다 매우 실망스러움. 소형 로컬 이미지 생성의 다음 발전을 기대했는데, 이번 모델은 끔찍한 수준임. 굳이 출시했다는 사실이 믿기 어려움.

Stability.AI가 형편없는 Stable Diffusion 3 출시로 몰락하고, 유능한 인력이 나와 Black Forest Labs를 세우거나 합류했다고 들었는데, 이들에게는 숫자 3의 저주가 따라다니는 듯함.