FLUX.2 및 LTX 2.3 확산 모델(Diffusion Model)을 두 개의 GPU로 분할 실행하기 (LAN 또는 동일 기기):
요약
FLUX.2 및 LTX 2.3과 같은 대규모 확산 모델을 두 개의 GPU로 분할하여 실행할 수 있는 기술을 소개합니다. NVIDIA의 NVENC를 활용해 중간 활성화 데이터를 실시간으로 압축 전송함으로써 네트워크 대역폭 병목 현상을 해결한 것이 핵심입니다.
핵심 포인트
- NVENC를 사용하여 모델의 중간 활성화 텐서를 HEVC로 3~10배 압축하여 전송
- RTX 5090과 RTX 4090 조합의 기가비트 이더넷 환경에서 1024 해상도 이미지 생성 시 네트워크 오버헤드를 0.5초로 최소화
- ComfyUI-Mesh 프로젝트를 통해 LAN 또는 동일 기기 내 GPU 분할 실행 가능
- OpenClaw-USB-Portable을 통해 Node.js 설치 없이 USB 드라이브로 OS 간 작업 공간 이동 가능
FLUX.2 및 LTX 2.3 확산 모델 (Diffusion Model)을 두 개의 GPU로 분할 실행하기 (LAN 또는 동일 기기), NVENC를 사용하여 중간 활성화 데이터를 실시간 압축함으로써 대역폭이 더 이상 병목 현상이 되지 않게 함
https://github.com/shootthesound/comfyui-mesh
이 프로젝트의 핵심 아이디어는 매우 영리합니다: NVIDIA 그래픽 카드에는 NVENC 전용 인코딩 실리콘이 탑재되어 있지만, 추론 (Inference) 시에는 완전히 유휴 상태로 남습니다. ComfyUI-Mesh는 모델 중간 계층의 활성화 텐서 (Activation Tensor)를 비디오 프레임처럼 NVENC에 전달하여, HEVC로 3~10배 압축한 후 네트워크를 통해 전송하고, 수신 측에서 NVDEC로 디코딩하여 복원합니다. FLUX.2 Klein 9B를 RTX 5090 + RTX 4090 조합으로 기가비트 이더넷을 통해 실행했을 때, 1024 해상도 기준 이미지 한 장당 4.4초가 소요되었으며, 이 중 네트워크 오버헤드는 약 0.5초에 불과했습니다.
OpenClaw 작업 공간을 USB 드라이브나 휴대용 드라이브를 통해 Windows, Linux, macOS를 넘나들며 사용할 수 있게 하며, 각 머신마다 Node.js와 OpenClaw를 전역적으로 설치할 필요가 없습니다.
https://github.com/techjarves/OpenClaw-USB-Portable
첫 실행 시 현재 시스템에 맞는 Node.js를 자동으로 다운로드하고, OpenClaw를
AI 자동 생성 콘텐츠
본 콘텐츠는 X @qingq77 (검증됨)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기