[오픈 소스] Fast IdeogramV4 + Qwen 3.X 클래스 모델 트레이너. 더 적은 시간 안에 더 많이 학습시키세요.

https://preview.redd.it/lp5addtjlazh1.png?width=1672&format=png&auto=webp&s=f1438e4e2defa833c4d39792a0fbaa355d7eae80 제가 뛰어난 예술 작품을 생성할 수 있는 AI 모델을 훈련시키는 과정에서, 좋은 디자인을 만드는 데 필요한 두 가지 구성 요소를 설계해야 했습니다. 바로 캡션을 이미지로 변환하는 Text to image model입니다. 고객의 요청(caption / brief)이 AI 모델에 전달되어 (결과적으로 이미지를 생성합니다). 두 트레이닝 모두에서 저는 기존 트레이너들이 성능 면에서 상당히 느리며 많은 MFU를 활용하지 못하고 있다는 것을 발견했습니다 (이는 초당 학습되는 토큰/이미지 수가 적다는 결과를 낳습니다). 저는 이를 BH200(Datacenter GPU)에 최적화했지만, 이는 H100에서도 작동할 것이고 A100에서도 잘 작동할 가능성이 높으며, RTX 시리즈 GPU에도 적용할 수 있도록 조정될 수 있습니다. 많은 부분이 고객 GPU로도 전환되기 때문입니다 (비록 안타깝게도 테스트하고 개발할 장비가 없습니다). https://preview.redd.it/4ackh039mazh1.png?width=2688&format=png&auto=webp&s=cefdf9a703ba00c96c6642098a0329fdcd246ea9

결과는 매우 좋습니다. 한 개의 GPU에서 저희 솔루션은 ms-swift (최적화된 트레이닝 키트)보다 58% 더 좋고, Unsloth보다 76% 더 좋으며, transformers + PEFT보다 178% 더 좋습니다. 예를 들어, Qwen3.5-9B를 사용하여 디자이너(개념/아이디어를 받아 모델이 렌더링/생성할 매우 상세한 캡션으로 다듬는 역할)를 트레이닝하는 경우, 초당 12,523 토큰을 처리합니다. 이는 상당한 수치입니다 (GPU가 할 수 있는 989 TFLOPS 대비). 또한 저희 마이크로 배치 스윕(micro-batch sweep)을 통해 43.7%의 최적 구성을 찾았으니, 이 부분을 가지고 놀아보거나 스윕하여 성능을 극대화해 보세요. 하지만 저희가 테스트한 Arrhenius 슈퍼컴퓨터는 전력 제한(power-capping)이 걸려 있어 실제 MFU는 53.9%(클럭 조정 기준)입니다. 동일한 데이터와 설정에서 다른 트레이너들은 다음과 같습니다: ms-swift ≈ 24% (1.58배 느림); Unsloth ≈ 22% (1.76배 느림); transformers + PEFT ≈ 14% (2.78배 느림). 비교 수치를 제공하기 위해 몇 가지 그래프를 만들었습니다.

다른 솔루션과의 비교 그래프를 보면, 손실 동등성(loss parity)을 거의 달성했습니다(<6e-4의 손실 차이로 무시할 수 있는 수준) . 이는 간단히 말해 더 적은 자원으로 더 많이 학습할 수 있게 해줍니다. https://preview.redd.it/juifzpkjnazh1.png?width=2596&format=png&auto=webp&s=05bc3414ee866ee7646c4dc8c3c5fefdca8e177c Ideogram V4 트레이너의 성능 분석은 아래와 같습니다: https://preview.redd.it/87ki938nnazh1.png?width=2800&format=png&auto=webp&s=5e6829554d57e735623b80f9d5b08a7808094d8f 또한, 스텝 시간을 증가시키거나 감소시키는 요소들에 대한 제거(ablation) 연구 결과도 있습니다. https://preview.redd.it/sqdl4musnazh1.png?width=2660&format=png&auto=webp&s=b775c7cad6437424118d3445766c1a689324b8e8 코드는 여기에서 확인할 수 있습니다: https://github.com/logolabs/perf_kit 더 많은 무료 도구 개발 및 공개에 저희를 지원하고 싶으시다면, 저장소(repository)에 별표를 눌러주세요. 여러분의 트레이닝 효율성을 개선하는 데 도움이 되기를 바랍니다. 제출자: /u/incorporo [링크] [댓글]