최근 LLM(대규모 언어 모델)을 활용한 AI 에이전트 개발이 활발하지만, 텍스트 주고받기뿐만 아니라 「음성」과 「아바타(시각 정보)」를 결합함으로써 더욱 인간답고 자연스러운 인터랙션(Interaction)이 가능해집니다.

이번에는 오픈 소스 실시간 AI 프레임워크인 Pipecat과 Anam.ai, 그리고 로컬 LLM(LM Studio & Gemma 4)을 조합하여, 지연이 적은 실시간 AI 아바타 대화 시스템을 구축하는 데모 애플리케이션을 제작했습니다.

GitHub 리포지토리는 여기입니다

masayukimiyazawa/pipecat-aiavatar-unifiedvideo-localllm-demo

Pipecat을 통한 유연한 파이프라인 구축

음성 인식, LLM 추론, 음성 합성 등 각 AI 컴포넌트를 Pipecat 프레임워크를 사용함으로써 심플하고 확장 가능하게 결합하고 있습니다.

완전 로컬에서의 LLM 동작 (Privacy & Low Latency)

클라우드 API에 의존하지 않고 로컬 환경에서 LLM을 구동함으로써, 기밀 정보의 유출을 방지하는 동시에 네트워크 통신으로 인한 지연을 최소한으로 억제하고 있습니다.

Unified Video를 통한 아바타 영상의 통합

AIAvatar와 Unified Video 기술을 결합하여, 생성된 음성에 맞춰 아바타를 립싱크(Lip-sync)시키고 매끄러운 영상 스트림으로서 실시간으로 출력합니다.

처리 전체상을 Mermaid 다이어그램으로 보여줍니다. Pipecat이 허브가 되어 음성의 입출력부터 아바타의 영상 생성까지 일괄적으로 처리합니다.

시스템 내부에서는 다음과 같은 파이프라인이 밀리초 단위로 비동기 실행되고 있습니다.

사용자가 마이크를 향해 말을 걸면, VAD(Voice Activity Detection: 예: Silero VAD 등)가 발화의 시작과 종료를 감지합니다. 무음 구간을 컷트하고 필요한 음성 데이터만 후속 처리로 흘려보냅니다.

감지된 음성 데이터는 실시간으로 STT 엔진으로 전송되어 텍스트로 변환됩니다.

텍스트화된 사용자의 질문이나 대화는 로컬 환경에서 구동 중인 LLM(Ollama 등)에 프롬프트(Prompt)로 전달됩니다. 로컬에서 동작하기 때문에 클라우드 API 특유의 네트워크 지연이 없어 빠르게 응답 생성을 시작합니다. **스트리밍 추론 (Streaming Inference)**을 사용함으로써 문장이 완성되기를 기다리지 않고 다음 처리로 넘길 수 있습니다.

LLM에서 출력된 텍스트 청크(Chunk)는 TTS 엔진으로 전달되어 자연스러운 음성 데이터로 변환됩니다.

생성된 음성 데이터(파형 데이터)를 바탕으로 아바타의 입 모양(립싱크)이나 표정을 동기화합니다. 최종적으로 음성이 포함된 비디오 프레임으로서 통합(Unified Video)되어 사용자 측 화면에 실시간으로 그려집니다.

Vonage는 최근 Video Connector SDK 및 그에 부수되는 Pipecat Transport를 출시했습니다. 이러한 새로운 도구들을 통해 서버 사이드 AI 에이전트가 실시간 음성과 영상을 동반한 완전한 참가자로서 Vonage Video 세션에 참여할 수 있게 됩니다. 이것들을 조합함으로써 단순히 채팅(텍스트 주고받기)을 하는 것뿐만 아니라, 실제 라이브 비디오 통화 속에서 직접 상대의 말을 듣고 스스로 발화하는 「AI 아바타」 구축이 가능해집니다.

자세한 코드 구현 및 셋업 방법은 GitHub 리포지토리의 README.md를 꼭 확인해 주세요! PR이나 Issue도 기다리고 있습니다.