
VibeVoice 1.5B를 로컬에서 실행... iPhone에서! 단 ~2.2 GB의 메모리와 최대 1.28배의 실시간 속도로
요약
VibeVoice 1.5B 모델을 iPhone 로컬 환경에서 실행하는 기술을 소개합니다. 약 2.2GB의 메모리만으로 구동 가능하며, 실시간 속도 대비 최대 1.28배 빠른 성능을 보여줍니다.
핵심 포인트
- iPhone 로컬 환경에서 VibeVoice 1.5B 모델 구동 성공
- 약 2.2GB의 낮은 VRAM 사용량으로 효율적인 메모리 관리
- 실시간 속도 대비 최대 1.28배 빠른 생성 성능 구현
- audio.cpp HF 리포지토리를 통해 모델 공개
지루하실 수도 있어서 데모의 생성 부분을 빠르게 만들었습니다 😄 또 다른 긴 형식의 생성 (long-form generation) 테스트도 진행했으며, VRAM 사용량은 안정적으로 보입니다. 데모는 약 1분 길이이며, 아마 X에 게시할 예정입니다. 이것은 무작위적인 아이디어로 시작되었으나, 어찌 된 일인지 다음 audio.cpp 릴리스 작업을 하던 중 완전히 다른 길로 빠지게 되었습니다. 모델은 audio.cpp HF 리포지토리에 업로드되었습니다. xcframework는 나중에 업로드할 예정이며, 릴리스 0.6 이후에 코드를 브랜치에 푸시하겠습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기