Ethernet LAN을 통해 두 개의 GPU에 FLUX 2 모델을 분산하기 위한 커스텀 NVENC 인코더 브릿지를 구축했습니다 (예:

요약

본 기술 기사는 Ethernet LAN을 통해 두 개의 GPU에 FLUX 2 모델을 분산하는 커스텀 NVENC 인코더 브릿지 구축 경험을 공유합니다. 이 시스템은 초기에는 Flux 2 Dev 및 Klein 9b를 지원하며, Tailscale과 같은 VPN을 이용해 원격 환경(카페 노트북-집 데스크톱)에서도 테스트가 가능함을 보여줍니다. 또한, 32B 및 70B LLM 모델 분산 버전도 개발하여 출시할 예정입니다.

핵심 포인트

• 커스텀 NVENC 인코더 브릿지를 구축하여 FLUX 2와 같은 비주얼 모델을 두 GPU에 분산 처리할 수 있게 함.
• Tailscale과 같은 VPN 및 Ethernet LAN 연결을 활용하여 원격/분산 환경에서도 고성능 이미지 생성이 가능함 (예: 5090 데스크톱-4090 노트북 간 1MP 이미지 생성).
• FLUX 2 Dev의 경우, Turbo LoRA 사용 시 Icarus 노드 배치 방법을 안내하여 로컬 및 원격 가중치에 걸쳐 올바르게 적용하는 방법을 제시함.
• 32B 및 70B LLM 모델을 두 대의 머신에 분산하여 효과적으로 작동시키는 코덱 버전도 개발 중임.