Flux Real-Time 파이프라인의 많은 주요 업데이트 사항
요약
본 기사는 Flux.2-Klein 기반의 실시간 스트리밍 파이프라인에 대한 주요 업데이트 사항을 소개합니다. 사용자 피드백을 바탕으로 int8 모드 지원, Lora 지원 추가, 그리고 Windows 및 Linux 환경을 위한 자동 설치 스크립트가 제공됩니다. 특히 웹캠과 Spout 입력을 받아 결과를 가상 웹캠이나 Spout으로 스트리밍할 수 있는 GUI 앱이 구현되어 범용성이 크게 향상되었습니다.
핵심 포인트
- int8 모드 추가로 24GB 그래픽 카드(예: RTX 4090, 3090)에서 파이프라인을 원활하게 실행할 수 있게 되었습니다.
- Lora 지원 및 Daydream Scope 플러그인 구현 등 다양한 기능이 추가되었습니다.
- Windows와 Linux를 위한 자동 설치 스크립트가 제공되어 환경 설정의 편의성이 높아졌습니다.
- 웹캠/Spout 입력과 가상 웹캠/Spout 출력을 지원하는 GUI 앱을 통해 광범위한 애플리케이션(TouchDesigner, OBS 등)과의 연결이 가능해졌습니다.
- LivePortrait 기능 추가로 입 모양 및 얼굴 표정을 더 정밀하고 낮은 지연 시간으로 전달할 수 있습니다.
안녕하세요! 불과 일주일 전, 저는 Flux.2-Klein을 기반으로 한 저의 실시간 스트리밍 파이프라인(real-time streaming pipeline) 발표를 이곳에 게시했습니다. 여기 원문 게시글이 있습니다.
그리고 무엇보다 먼저, 여러분의 성원에 진심으로 감사드립니다! 댓글을 통해 많은 기능 추가를 요청해 주셨습니다. GitHub 기여자분들과 커뮤니티, 그리고 저의 노력 덕분에 그중 대부분이 구현되었습니다.
모든 업데이트 목록을 포함하여 게시물을 하나 더 작성하기로 결정했습니다:
-
int8 모드가 추가되었습니다. 이를 통해 4090 및 3090과 같은 24 GB 그래픽 카드에서 파이프라인을 원활하게 실행할 수 있습니다.
-
Lora 지원이 추가되었습니다.
-
u/BuffMcBigHuge 님이 Daydream Scope를 위한 플러그인을 구현했습니다.
-
환경 설정부터 모델 다운로드까지 Windows 및 Linux를 위한 자동 설치 스크립트가 제공됩니다.
-
웹캠과 Spout 모두에서 입력을 받고, 결과를 Spout 및 가상 웹캠(virtual webcam)으로 스트리밍할 수 있는 GUI 앱을 제작했습니다. 이는 TouchDesigner, OBS, 브라우저 및 웹캠을 사용하는 거의 모든 앱에 연결하여 사용할 수 있습니다.
-
GitHub 기여자 m-bo-one 님이 입 모양과 얼굴 표정을 더 정밀하고 낮은 지연 시간(latency)으로 전달하는 LivePortrait 지원을 추가했습니다. 이는 선택 사항이지만 때때로 유용합니다.
현재로서는 계획된 주요 기능은 없으나, 버그를 발견하시면 자유롭게 이슈(issue)를 생성해 주세요. 16 GB 이하의 그래픽 카드 지원은 실용적이지 않기 때문에 계획되어 있지 않습니다. 해당 카드들은 이를 "실시간(real-time)"으로 실행하기에는 너무 느립니다. 9B Flux.2-Klein 변체(variant)에 대해서도 같은 이유입니다.
저장소 (무료 및 오픈 소스(oss)):
AI 자동 생성 콘텐츠
본 콘텐츠는 r/StableDiffusion의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기