Krea 2와 Minimax H3 텍스트 인코더 비교: 약화된(Abliterated) 텍스트 인코더는 실제로 어떤 영향을 미칠까요?

요약하자면(TL;DR): 약화된 모델을 텍스트 인코더로 사용하는 것은 기본적으로 괜찮습니다. 여기 갤러리가 있으며, 각 이미지는 표준 TE와 약화된 TE를 포함하고 있습니다. 비디오는 제가 편집하는 것이 너무 게을렀기 때문에 별도로 게시했습니다.

Krea2에서 바이패스 LORA 없이 실행한 간단한 프롬프트 70개. KRea2에서 바이패스 LORA 없이 실행한 더 길고 복잡한 프롬프트 10개. Krea2에서 바이패스 LORA 없이 실행한 선정적인(naughty) 프롬프트 17개 (이미지는 아마 안전할 것이지만, 텍스트는 안전하지 않으니 주의하는 것이 좋습니다).

Minimax H3에서 실행한 프롬프트 17개 중, 길고 품질이 괜찮은 것 5개(제 컴퓨터 기준), 짧게 무작위로 생성된 프롬프트 12개 (프롬프트가 필요하면 워크플로우를 첨부했습니다).

모두가 몇 달 전에 여기서 heretic의 게시물 작성자를 본 적이 있을 것이지만, 그렇지 않다면 여기 있습니다: 공지(PSA): 저는 Heretic의 제작자이며, H3(또는 다른 어떤 모델)에 텍스트 인코더로 “heretic” 모델을 사용하지 말라고 조언합니다. 게으른 분들을 위해 핵심 내용은 "약화된 텍스트 인코더가 이미지/비디오 모델의 검열을 해제하지 못한다"입니다. 이것은 진실한 사실이며, 제 테스트가 이를 명백히 증명합니다.

불행하게도, 그 작성자는 자신의 편향성을 확인하는 과정에서 권위에 호소하는 것을 사람들이 얼마나 좋아하는지 과소평가했고, 그래서 해당 게시물에서 한 문장을 가져와서 논거로 삼았습니다. 문제의 문장은 다음과 같습니다: "글쎄요, 저는 Heretic의 제작자이고, 이것이 절대 작동하지 않는다는 것을 여러분에게 확실히 말하기 위해 여기에 왔습니다. 사실, 오히려 결과물을 더 나쁘게 만들 뿐이며, 검열을 해제하지는 못할 겁니다." (강조는 저의 것입니다)

저는 그 작성자가 전달하려 했던 감정은 이해하지만, 이미지/비디오 생성 모델은 LLM(대규모 언어 모델)이 아니며, 결과물은 LLM처럼 점수나 벤치마크로 측정될 수 없습니다. 이미지/비디오 생성에서 "더 나쁘다"는 것이 정확히 무엇을 의미할까요?

누군가 '이단 모델(heretic model)' 사용을 제안할 때마다 항상 누군가가 "이미지를 더 나쁘게 만들 거야 / 출력을 저하시킬 거야 / 틀렸어."와 같은 식으로 반박하는 사람이 있습니다. 하지만 그들의 주장에 대한 테스트나 예시, 증거는 결코 제시되지 않으며, 단지 앞서 언급된 게시물과 이미지 생성(image gen) 분야에 전문성이 없는 누군가가 사실 선언 대신 강조를 위해 사용했던 한 문장을 지적할 뿐입니다. 이제 제 '이단 모델' 115가지 예시들을 모두 가리키며 "아하! 이들은 전부 명백히 더 나쁘잖아!"라고 말하는 것은 자유지만, 양자화된 모델(quantized model)을 사용하라는 제안에 대해서도 같은 에너지를 가져가십시오. 왜냐하면 양자화가 텍스트 인코딩에 할 수 있는 어떤 것보다 '품질'에 동등하거나 훨씬 더 큰 영향을 미치기 때문입니다. 양자화의 영향에 익숙하지 않은 분들을 위해, 예시 1, 예시 2, 예시 3을 참고하십시오. 마지막으로, 약화된 모델(abliterated model)은 영향이 최소한이지만, 이는 양방향으로 작용하여 생성 결과물(gens)에 긍정적이든 부정적이든 거의 영향을 미치지 않습니다. 따라서 이를 텍스트 인코더로 사용하려는 유일한 이유는 메모리가 부족하고 동일한 워크플로우 내에서 프롬프트를 확장하고 텍스트를 인코딩하기 위함입니다. 만약 128GB의 RAM과 32GB의 VRAM을 가지고 있다면 모델을 하나 또는 세 개 더 실행할 여유가 있지만, 32GB/8GB만 가지고 있고 Minimax H3 프롬프트를 확장하려는 경우, 두 가지 작업을 모두 위해 약화된 모델을 사용하는 것은 완벽하게 수용 가능한 선택입니다. 하나의 모델이 두 개의 모델 절반 크기이며, 특히 일반 모델이 거부할 만한 영역에 진출하는 경우, 약화된 모델은 프롬프트 확장과 인코딩 작업 모두에서 표준 모델보다 훨씬 더 뛰어납니다.

오랫동안 다양한 텍스트 인코더(TE)들을 만져보며 실험해 왔는데, 그 결과들이 단독으로 공유하기에는 흥미롭지 않았습니다. 하지만 관심 있는 분이 계시다면 여기에 추가할 수 있을 것 같습니다. 저는 파인튜닝된 Qwen 모델 8개를 Z-Image Turbo를 통해 실행해 보았고, 또한 Flux.1-dev와 함께 다르게 학습된 Clip_L 모델들을 사용했습니다. 이 모델들은 모두 파인튜닝된 SDXL 모델이나 완전히 다른 데이터셋을 기반으로 처음부터 학습된 clip_l 아키텍처에서 가져온 것입니다. 실제로 파인튜닝된 대규모 언어 모델(LLM)을 텍스트 인코딩에 사용하는 것조차도, 특히 더 상세한 프롬프트가 사용될 경우 최종 이미지에는 큰 변화를 주지 않습니다. 따라서 abliteration이나 heretic과 같은 작고 목표 지향적인 조정(tunes)들은 훨씬 더 적은 영향을 미칠 것이라는 추론이 가능합니다. 제가 진행한 테스트는 이 가설을 뒷받침하는 것 같습니다만, 여러분만의 비교 결과를 추가해 주셔도 좋습니다. 만약 누군가 abliterated TE를 사용하여 신뢰할 수 있게 '더 나쁜' 출력을 만들어낼 수 있는지 매우 궁금합니다.
제출자: /u/afinalsin [링크] [댓글]