Kokoro 82M, Qwen 및 llama.cpp 를 활용한 완전 로컬 PDF-오디오북 워크플로우 구축

요약

이 기술 기사는 로컬 환경에서 작동하는 PDF 오디오북 리더 애플리케이션 개발 과정을 설명합니다. 사용자가 기술 서적을 들으면서 동시에 텍스트를 강조하여 읽는 듯한 경험을 제공하며, Tauri 2.0과 Kokoro 82M TTS 모델을 활용해 Mac 등 로컬 기기에서 구동됩니다. 핵심 파이프라인은 PDF 로드 및 렌더링 → 텍스트 추출 → 분할 → Kokoro 82M으로 음성 생성 → 오디오 재생 중 원본 텍스트 강조입니다. 또한, Qwen과 llama.cpp를 활용하여 최적화된 오디오북 또는 팟캐스트 스타일로 변환하는 기능도 고려하고 있습니다.

핵심 포인트

• 완전히 로컬 환경에서 작동하는 PDF-오디오북 워크플로우 구축 (local-first)
• Tauri 2.0을 사용하여 데스크톱 애플리케이션 개발 및 Mac 환경에 최적화
• Kokoro 82M TTS 모델을 활용하여 음성 생성 및 실시간 오디오/텍스트 동기화 구현
• Qwen과 llama.cpp를 이용해 PDF 내용을 구조화된 오디오북 또는 대화체(팟캐스트) 형식으로 변환하는 기능 고려
• 기술적 과제로는 오디오와 원본 텍스트의 정렬 유지, 코드 스니펫/표 처리, 초기 로딩 속도 개선 등이 있음