이 프로젝트는 Chrome에서 WebGPU를 사용하여 LivePortrait (https://github.com/KlingAIResearch/LivePortrait)의 ONNX 버전을 실행하려는 시도에서 시작되었습니다. 단일 프레임을 생성하는 데 30초가 걸렸습니다. 성능을 향상시키기 위해 몇 가지 다른 옵션들을 조사했지만, 결국 해당 모델을 훨씬 더 작은 크기로 증류 (distill) 해보는 것이 재미있을 것이라고 결정했습니다.

링크된 내용은 증류된 모델의 첫 번째 개념 증명 (proof-of-concept) 버전 데모입니다. 저의 5090 환경에서는 프레임 생성에 30ms 미만이 소요되며 100% 브라우저 내에서 실행됩니다. 품질은 그저 그런 수준이며, 소수의 초상화만을 사용하여 몇 시간 동안만 학습시켰기 때문에 어떤 초상화는 다른 것보다 더 잘 작동할 것입니다. 다른 GPU를 사용하는 분들에게는 프레임 렌더링 속도가 얼마나 빠른지 (혹은 그렇지 않은지!) 듣고 싶습니다.
submitted by /u/stephen_holograf
[link] [comments]