다시 인사드립니다! 이것은 제가 이전 게시물에서 올린 MageTrail V0.25에 대한 업데이트입니다. 저는 이 기술 데모 장난감 모델 같은 것을 계속 진행하고 있습니다. 이 모델은 Danbooru/E621의 개념 증명(proof of concept) 전체 파인튜닝으로, Microsoft의 MageFlow 4B T2I 모델을 사용합니다. 여기에는 다양성이 극대화된 41k 이미지 데이터셋이 사용되었는데 (원래 Lodestone, Chroma 모델 계보의 제작자가 만든 것), 이 방식은 전체 booru 데이터셋으로 파인튜닝할 필요 없이, 보어(booru) 개념과 태그 기반 프롬프팅 및 일러스트레이션 기능을 모델에 조정하는 방법입니다. (잠재적으로 2만~5만 달러 이상 비용 발생). Civitai HuggingFace 이번 업데이트는 실제 학습 측면에서 가장 큰 업데이트이며, 지금까지의 최대 업데이트입니다. V0.1부터 V0.3까지 총 593달러(425 H100 HBM3 시간)가 소요되었으며, 궁극적으로 이 모델이 booru 개념과 태그를 지식 기반으로 빠르게 학습하고 적응하는 잠재력을 보여주었습니다. 이것은 제가 제출한 두 개의 Banodoco 보조금 요청의 초기 범위였지만, 모델을 훈련하고 테스트한 결과 제 생각에는 제한된 41k 데이터셋을 명확히 초과했습니다 (이는 예상했던 바입니다). 모델 안정성 개선이 불행하게도 느려지면서, 이 모델은 주로 많은 새로운 개념 학습을 통해 엄청나게 향상되었습니다. 긍정적인 측면으로, 모델은 많은 개념을 학습했고 전반적으로 어느 정도 더 안정적이었습니다. 제한된 데이터셋으로 배울 수 있는 모든 것을 거의 다 배웠습니다. 최근 연구 발견에 따르면, 일부 코드 변경만으로 이 모델이 Flux2VAE (현재 오픈 소스에서 사용 가능한 최고의 VAE)와 같이 정상적으로 완전히 훈련될 수 있으며, 다른 어떤 모델에게도 엄청난 비용이 들었을 리얼라인먼트(realignment) 학습이 필요하지 않습니다. 이는 향후 출시 버전에서 이 모델이 전체 Flux2VAE 아키텍처가 될 것이며, VAE가 제공하는 모든 장점 (최고의 디테일, 최고의 재구성, 모든 오픈 VAE 중 최고의 텍스처 렌더링 등)을 상속받게 된다는 것을 의미합니다. 이는 모델이 개념/디테일/텍스처를 더 빠르고 더 잘 학습할 수 있게 해주어 스타일 측면에서 큰 이점입니다.
Muinez의 V0.2 2.8B 아키텍처 기반으로 만들어진, 현재는 포기된 테스트 프로젝트인 https://huggingface.co/Muinez/mage-flow-ft 는 L40S 500시간(200~300달러)으로 학습되었으며, 극도로 과소 학습되었음에도 불구하고 전체 1천만 개 이상의 데이터셋으로 학습된다면 모델이 모든 캐릭터와 스타일을 학습할 수 있음을 보여주었습니다. 이는 MageFlow가 1B-4B 규모의 기반 학습(foundational training)을 위한 훌륭한 후보임을 입증합니다. Negative Model은 제가 바라던 만큼 빠르게 안정화되지 않았고, 이제는 모델이 잘 일반화되고 다른 사람들이 파인튜닝할 수 있는
작은 목표(SMALL GOAL): 모델에 10k-100k 아티스트 스타일을 파인튜닝하기 위해 1,0002,000달러의 자금을 모으는 것입니다 (20만3백만 장 이미지 파인튜닝, 계획 V0.4-V1). 또한, 앞서 언급된 큰 목표가 달성되지 않았을 경우 수렴(convergence) 및 미학적 개선에 더 도움을 줄 것입니다. 아티스트 튜닝은 기부금을 받지 못하더라도 취미 프로젝트로 계속 진행될 것이며, x4 A4000에 다시 접근하게 되면 그렇게 할 것입니다. 하지만 그 장비로 학습하는 것은 최소 x1 H100으로 마음껏 돌릴 때보다 몇 달이 더 느릴 것이므로, 따라서 어떤 기부금이라도 저희 프로젝트가 흥미롭지만 불안정한 장난감 모델 상태를 넘어 '사용 가능한' 상태에 더 빨리 도달하는 데 도움이 될 것입니다. 모든 기부금은 이 목표 달성에 도움을 줄 수 있으며, 다음 방법을 통해 기부할 수 있습니다: 암호화폐 (선호됨, Kofi/Paypal 송금 시간이 너무 오래 걸리고 수수료를 많이 가져가기 때문) 0x6a4bc748cd0bb9ced9a360eb0eb79f4f106614f8 (USDT - BEP20 네트워크) 12PPVYUeS1MerNp38Tpns5qXR6cmhu9tws (비트코인 - BTC 네트워크) 0x6a4bc748cd0bb9ced9a360eb0eb79f4f106614f8 (이더리움 - ERC20 네트워크) FitfJAsxLUBuSgDJJaHgBXJpt1sMm5FzF1Tvf1SHW5Up (솔라나 - SOL 네트워크). 보내는 주소가 정확한지 주의 깊게 처리해 주십시오. Ko-fi https://ko-fi.com/talanartvn 기부하고 싶으신 경우, 그리고 돈이 저에게 전달되고 손실되지 않도록 하려면 Discord(사용자: talannnn)을 통해 연락하여 소액의 테스트 금액(암호화폐용)을 보내서 돈이 제대로 들어오는지 확인할 수 있도록 준비해 주십시오.
감사의 말씀 (Acknowledgments) Beeg은 다음 분들께 감사드립니다: Banodoco와 그들의 Discord — 이 프로젝트를 가능하게 한 88.77 달러의 초기 지원금과 향후 요청에 대한 추가적인 지원을 해주신 점에 깊이 감사드립니다. 가장 큰 감사는 Lodestone Rock에게 전합니다 — 본 모델이 학습된 원본 booru essence 데이터셋의 창작자입니다. Motimalu — 파인튜닝 관행 및 설정의 영감의 원천입니다. Bluvoll — 훈련에 사용되는 수정된 2.8B 아키텍처, diffusion-pipe 포크(fork)를 만들고 일반적인 훈련 조언을 제공해 주었습니다. Anzhc — 일반적인 훈련 조언을 해주셨습니다. Nruaif — 훈련에 사용되는 diffusion-pipe 포크와 일반적인 데이터셋 처리/훈련 조언을 해주셨습니다. Astromahdi — 제가 데이터셋을 처리하고 저장한 jupyter 작업 공간 및 스토리지입니다. Heato-Red — 모델 페이지 로고 디자인을 맡았습니다. animetimm/DeepGHS — Danbooru 태깅 모델을 제작했습니다. RedRocket — E621 태깅 모델을 제작했습니다. 이 형식은 Motimalu의 Kirazuri 일기에서 영감을 받아 /u/Turbulent-Bass-649 님이 제출해주신 [링크] [댓글]를 기반으로 합니다.
