Krea 2 Turbo Distill - 3 step LoRA (작업 진행 중) Krea 2 Turbo를 위한 단계 추출(step-distillation) LoRA의 세 번째 버전으로, 이전 두 버전을 이어받은 것입니다. 4단계 LoRA는 Turbo를 8단계에서 4단계로 줄였고, 2단계 LoRA는 빠른 미리보기를 위해 2단계까지 낮췄지만, 최선을 다했음에도 불구하고 4단계의 품질에는 미치지 못했습니다.
4단계보다 한 단계 적고 2단계보다 한 단계 많은 이 버전은 어느 쪽보다 더 섬세한 디테일을 구현하며, 2단계 프로젝트에서 제가 배운 모든 것을 활용하여 단일 클라우드 H100으로 학습되었습니다.
- 8단계 대신 3단계로 축소 · 2.6배 빠른 노이즈 제거(denoising) 속도 (텍스트 인코딩 및 VAE 디코드 제외)
- 22개 테스트 프롬프트에서 8단계 교사 모델 대비 1.15배의 섬세한 디테일로, 이는 4단계 LoRA의 1.04배를 능가합니다. (기본 Turbo 3단계 기준: 0.58배)
- 교사 모델 수준의 색상 표현
- 녹화된 교사 궤적(teacher trajectories)을 사용한 12,000개의 학습 샘플
- H100 한 대, 약 41시간 소요 · 안정화된 가중치에서 출시됨.
이것은 모델을 8단계에서 3단계로 낮추는 Krea 2 Turbo를 위한 LoRA입니다. Turbo 자체의 가중치와 자체 3단계 시그마(sigmas), CFG 1 (가이드 없음; diffusers에서는 guidance_scale=0.0으로 작성됨)을 사용하여, 3단계가 제공할 수 있는 최고의 품질을 목표로 합니다. 이 버전은 노이즈 제거 시간의 4분의 3 수준에서 4단계 LoRA의 섬세한 디테일을 유지하고 전달하며, 이미지는 교사 모델 자체의 결과물과는 약간 거리가 있습니다.
⚡ 8단계에서 3단계로 축소 — Turbo 자체의 3단계 시그마 값 [1.0, 0.8633, 0.6123]을 사용합니다.
⏱️ 노이즈 제거(denoising) 속도가 2.6배 향상되었습니다 — 1024×1024 해상도에서 (float16 연산 기준), 65.4초에서 24.9초로 단축됩니다. (텍스트 인코딩 및 VAE 디코드 시간은 단계 수와 관계없이 동일하므로 제외된 값입니다.) 어댑터 자체의 호출당 비용은 약 1% 이내에 머뭅니다.
🎯 교사(teacher)보다 뛰어난 세부 디테일을 보여줍니다 — 22개의 테스트 프롬프트에서 미세 질감은 교사의 수준 대비 1.15배, 16픽셀 및 8픽셀 영역은 각각 1.17배 / 1.16배로 향상되었습니다 (3단계 기본 Turbo: 0.58배; 4단계 어댑터: 1.04배). 색상은 교사 수준에 도달합니다.
📊 모방이 아닌 분포 일치(Distribution matching)를 구현했습니다 — 교사의 정확한 궤적을 따르기보다 교사가 그럴듯하게 생성할 수 있는 결과와 일치시키므로, 학생 모델은 블러나 이중 가장자리로 평균화하는 대신 확신을 가지고 표현합니다.
🔎 여덟 가지 평가 항목이 진행되었습니다 — 아티팩트(artefacts), 실제 사진, 첫 번째 호출의 레이아웃, 콘텐츠, 프롬프트 일치도, 레터링, 큰 얼굴, 그리고 전체 세 번의 호출 결과까지 각각 고정된 베이스 자체 중간 네트워크 특징에 대한 작은 헤드(head)로 평가되었습니다.
📐 훈련된 해상도는 총 11가지이며 — 512×768부터 최대 1440×1440, 그리고 1824×1024까지 지원합니다.
🔌 추가 설치가 필요 없는(Drop-in) 방식입니다 — 일반적인 LoRA를 사용하며 기본 Euler 샘플러와 함께 diffusers / ComfyUI / MLX에서 작동합니다. 사용자 지정 노드나 사용자 지정 샘플러가 필요하지 않습니다 (LoRA 자체는 아무것도 필요하지 않으며, 아래의 Apple Silicon용 선택적 MLX 워크플로우는 이를 my LVNodes를 통해 실행합니다).
🧬 4단계 및 2단계 어댑터와 동일한 구조를 가집니다 — 동일한 228개 모듈에 대해 랭크 64를 기록했습니다.
🎲 약 30,000개의 기록된 교사 궤적(teacher trajectories)을 사용했습니다 — 이는 11가지 훈련 크기에서 Turbo 자체의 8단계 경로입니다. 두 개의 감쇠 구간(anneals)을 벗어난 모든 샘플은 어댑터가 본 적 없는 것이었습니다.
🔢 훈련 샘플은 12,000개이며 — 공개된 4단계 어댑터의 가중치에서 시작했습니다.
🧘 평균이 아닌 안정화된 가중치(Settled weights)입니다 — 마지막 600개 샘플을 통해 이미 훈련된 데이터에 대한 학습률을 0으로 낮추었으므로, 공개된 가중치는 휴지 상태의 훈련 가중치입니다. 기본 PyTorch(Torch) 워크플로우 외에 MLX 워크플로우도 포함하여 ComfyUI 워크플로우가 제공됩니다.
ComfyUI에 대한 자세한 내용은 여기를 참조하세요: https://huggingface.co/lvladikov/Krea2-Turbo-Distill-3step-LoRA#comfyui Raw에서 사용 시, Turbo용으로 훈련되었으며 Turbo를 위해 제작되었지만 아키텍처를 공유하는 Krea 2 Raw에서도 로드됩니다. Raw에서 CFG 3.5로 13단계(steps)를 사용할 경우, Raw 자체의 구도를 유지하면서 해당 단계 수에서 부족했던 디테일(피부와 주근깨, 털, 떨어지는 눈, 불이 켜지고 간판이 달린 밤거리 등)을 추가합니다. 20단계에서는 사진이 동일하게 유지되며, 글자는 더 선명해지고 가장자리가 섬세해집니다. Raw의 CFG는 유지하세요: CFG가 1 또는 0이면 Raw가 무너집니다. 이 LoRA는 Raw용으로 훈련되거나 조정된 것이 아니므로 지원되는 모드라기보다는 보너스로 간주하십시오. RAW에 대한 자세한 내용은 (샘플 이미지를 포함하여) 여기를 참조하세요: https://huggingface.co/lvladikov/Krea2-Turbo-Distill-3step-LoRA#using-it-on-raw 네, 맞습니다. 이것은 Krea 2로 돌아온 또 다른 성공작이며, 제가 생각하기에 좋은 작품입니다. 더 적은 단계(steps), 그리고 효과적으로는 더 적은 시간으로 더 많은 (품질) 결과물을 얻을 수 있을 것입니다. 아직 작업 중인 부분이므로 피드백을 알려주세요. 모든 것(심지어 작동하는 레시피를 찾기 전까지 취소했던 초기롭고 긴 실험과 접근 방식들을 포함하여)을 클라우드 기반 H100에서 훈련했기 때문에 매우 비용이 많이 드는 프로젝트입니다 (모든 비평가들이 풀 정밀도(full precision)로 동시에 로드한 것들인데, 이전에는 RTX 3090으로 2단계 및 4단계 LoRA를 훈련할 때 할 수 없었던 일입니다). 여러분 모두가 이 작품을 높이 평가해 주기를 바랍니다. 전체 상세 정보와 다운로드는 HF에서 제 3단계 LoRA 프로젝트를 방문하세요: https://huggingface.co/lvladikov/Krea2-Turbo-Distill-3step-LoRA /u/TimeTruth2490에 제출됨 [링크] [댓글]
