브라우저에서 25fps로 실행 가능한 LivePortrait 증류 (distilled) 모델
요약
LivePortrait 모델을 WebGPU 환경에서 실행하기 위해 모델 증류(Distillation)를 통해 경량화한 프로젝트입니다. Chrome 브라우저 내에서 25fps의 속도로 실시간 실행이 가능하도록 구현되었습니다.
핵심 포인트
- WebGPU를 활용하여 브라우저 내에서 모델 실행
- 모델 증류를 통해 프레임 생성 속도를 30초에서 30ms 미만으로 단축
- ONNX 버전을 기반으로 한 실시간 성능 최적화 시도
이 프로젝트는 Chrome에서 WebGPU를 사용하여 LivePortrait (https://github.com/KlingAIResearch/LivePortrait)의 ONNX 버전을 실행하려는 시도에서 시작되었습니다. 단일 프레임을 생성하는 데 30초가 걸렸습니다. 성능을 향상시키기 위해 몇 가지 다른 옵션들을 조사했지만, 결국 해당 모델을 훨씬 더 작은 크기로 증류 (distill) 해보는 것이 재미있을 것이라고 결정했습니다.
링크된 내용은 증류된 모델의 첫 번째 개념 증명 (proof-of-concept) 버전 데모입니다. 저의 5090 환경에서는 프레임 생성에 30ms 미만이 소요되며 100% 브라우저 내에서 실행됩니다. 품질은 그저 그런 수준이며, 소수의 초상화만을 사용하여 몇 시간 동안만 학습시켰기 때문에 어떤 초상화는 다른 것보다 더 잘 작동할 것입니다. 다른 GPU를 사용하는 분들에게는 프레임 렌더링 속도가 얼마나 빠른지 (혹은 그렇지 않은지!) 듣고 싶습니다.
submitted by /u/stephen_holograf
[link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기