음성 AI 대화 시스템에는 오랫동안 이율배반적인 문제가 있었습니다.

직접 S2S 모델 (Direct Speech-to-Speech): 즉각적으로 응답할 수 있지만, 지식이 얕고 답변 품질이 낮음 -
캐스케이드형 (ASR → LLM → TTS): 지식이 풍부하고 고품질이지만, 2초 이상의 지연(Latency)으로 인해 대화가 부자연스러워짐

2026년 5월 3일, 도쿄에 본사를 둔 Sakana AI가 이 문제를 해결하는 아키텍처인 KAME (Knowledge-Access Model Extension)를 발표했습니다. ICASSP 2026에 채택된 이 연구는 프런트엔드 S2S 모델과 백엔드 텍스트를 비동기적으로 결합하는 '탠덤(Tandem) 설계'를 채택하고 있습니다.

• KAME가 해결하는 음성 AI 설계의 과제

• 탠덤 아키텍처의 구조와 오라클 스트림 (Oracle Stream)

• MT-Bench 기반의 정량적 벤치마크 결과

• Python 서버 설정 절차

• GPT-4.1 / Claude Opus / Gemini의 백엔드 전환

• 음성 AI 애플리케이션을 개발하는 엔지니어

• LLM을 활용한 실시간 대화 시스템에 관심이 있는 분

• Moshi 등의 S2S 모델의 한계를 느끼고 있는 분

• KAME는 Moshi 계열 S2S를 프런트엔드에, GPT-4.1 등의 LLM을 백엔드에 두는 탠덤 설계

• **near-zero 레이턴시 (Latency)**를 유지하면서 MT-Bench 점수를 2.05 → 6.43으로 향상 (Moshi 단독 사용 시 대비)

• 캐스케이드형 Unmute (7.70점)에는 미치지 못하지만, 레이턴시는 2.1초 vs near-zero로 압도적 우위

• 백엔드는 재학습 없이 전환 가능 (GPT-4.1, Claude Opus 4.1, Gemini 2.5 Flash 대응)

• MIT License, GitHub 공개 완료

직접 S2S 모델은 음성 입력을 그대로 음성 출력으로 변환합니다. 대표적인 것은 Kyutai의 Moshi로, 이산 오디오 토큰(Discrete Audio Token)을 약 80ms 주기로 처리하여 응답 시작까지의 지연이 거의 제로에 가깝습니다.

과제는 지식량입니다. 모델 파라미터에 포함된 지식만으로 응답하기 때문에, 최신 정보나 전문 지식을 물으면 답변이 얕아집니다.

음성을 일단 텍스트로 변환(ASR)하고, LLM으로 응답을 생성한 뒤 다시 음성으로 변환(TTS)하는 파이프라인입니다. GPT-4.1 등의 풀스펙 LLM을 활용할 수 있어 답변 품질이 높으며, Unmute (gpt-4.1 백엔드)의 MT-Bench 점수는 7.70에 달합니다.

하지만 모든 단계를 직렬로 처리하기 때문에 중앙값 레이턴시가 2.1초 정도가 됩니다. 전화나 실시간 대화에서는 대화의 자연스러움이 손상됩니다.

KAME는 'think then speak (생각한 뒤 말하기)'에서 'speak while thinking (말하면서 생각하기)'로의 패러다임 전환을 실현합니다. 프런트엔드가 즉시 응답을 시작하는 동시에, 백엔드 LLM이 비동기적으로 깊은 지식을 주입해 나갑니다.

KAME는 두 가지 컴포넌트를 비동기적으로 작동시킵니다.

프런트엔드는 입력 음성을 받으면 즉시 응답 음성 생성을 시작합니다. 동시에 중간 전사 (interim transcription)를 백엔드 LLM에 스트리밍으로 전송하며, LLM이 생성한 보다 지식적인 응답 텍스트를 '오라클 스트림 (Oracle Stream)'으로서 받아 출력에 반영합니다.

Moshi 오리지널의 3-스트림 설계 (입력 음성 · 내부 독백 · 출력 음성)에 KAME는 오라클 스트림을 추가했습니다.

입력 음성 스트림 → 프런트엔드 S2S → 출력 음성 스트림
↓↑ (80ms)
내부 독백 스트림
...

프런트엔드의 S2S 모델은 오라클 스트림을 조건으로 받아, 자신의 내부 컨텍스트와 LLM의 지식을 조합하여 출력을 생성합니다.

KAME의 프런트엔드는 gpt-4.1-nano를 백엔드로 하여 학습되었지만, 추론 시 재학습 없이 백엔드를 교체할 수 있다는 점이 중요한 설계상의 특징입니다.

공식적으로 확인된 대응 백엔드:

gpt-4.1 — 인문학 태스크에서 높은 점수 -
claude-opus-4-1

— 추론 태스크에서 높은 점수 gemini-2.5-flash

용도에 맞춰 백엔드(Backend)를 선택할 수 있습니다.

평가에는 MT-Bench의 텍스트 프롬프트를 음성 합성한 「speech-synthesized MT-Bench」를 사용하며, 응답을 LLM 평가기로 스코어링(Scoring)하고 있습니다 (10점 만점).

KAME는 캐스케이드형의 7.70점에는 미치지 못하지만, near-zero 레이턴시로 Moshi 대비 3배 이상의 스코어를 달성하고 있습니다.

특히 추론 및 STEM 태스크에서의 개선이 현저합니다. 이는 LLM 백엔드의 지식 주입이 사실 확인이나 논리적 추론을 필요로 하는 태스크에 효과적임을 보여줍니다.

KAME는 아직 PyPI에 등록되지 않았으므로, GitHub에서 직접 설치합니다.

uv init --bare --python 3.12
uv add "kame-model @ git+https://github.com/SakanaAI/kame.git"

공식 README에서는 특정 커밋 해시(Commit Hash, 예: @1a69ee29...)를 부여한 형식을 권장합니다. 재현성이 중요한 경우에는 GitHub에서 최신 커밋 해시를 확인하십시오.

로컬 개발 (pip)의 경우:

git clone https://github.com/SakanaAI/kame.git
cd kame
pip install -e .

# 백엔드 LLM용 (필수)
export OPENAI_API_KEY="your-api-key"
# ASR용 Google Cloud 인증 (ASR 활성화 시에만)
...

uv 프로젝트 환경에서 설치한 경우:

uv run python -m kame.server_oracle \
--hf-repo SakanaAI/kame \
--host 0.0.0.0 \
...

pip (로컬 개발) 환경에서 설치한 경우에는 uv run을 제외하고 실행합니다. 기동 후, 브라우저에서 http://localhost:8998에 접속하면 WebUI가 표시됩니다.

uv run python -m kame.server_oracle \
--hf-repo SakanaAI/kame \
--port 8998 \
...

uv run python -m kame.server --help

현시점의 KAME 서버는 WebSocket 연결을 1개 세션만 지원합니다. 동시 접속을 시도하면 503 에러가 반환됩니다. 운영 환경에서의 병렬 이용에는 기술적인 조치가 필요합니다.

ASR은 기본적으로 활성화되어 있습니다 (Google Cloud Speech-to-Text, 영어 en-US). 일본어 대응의 경우 ASR 설정 변경이나 별도의 음성 인식 엔진 통합이 필요합니다.

백엔드 전환은 추론 시에 수행할 수 있습니다 (재학습 불필요). claude-opus-4-1을 백엔드로 사용하는 경우에는 대응하는 API 키와 설정을 지정합니다.

공식 발표 시점에서의 제약 사항을 정리합니다.

캐스케이드형 Unmute (MT-Bench 7.70)와의 격차도 남아 있으며, 프론트엔드 S2M 모델의 지식 용량 및 오라클 스트림(Oracle Stream)의 통합 정밀도 향상이 향후의 연구 과제입니다.

Sakana AI가 발표한 KAME는 음성 AI의 "저지연(Low Latency)인가 지식 품질인가"라는 이율배반을 해소하는 실용적인 아키텍처입니다.

**탠덤 설계 (Tandem Design)**를 통해 S2S(Speech-to-Speech)의 즉시성과 LLM의 지식을 양립 - Moshi 단독 대비 MT-Bench 점수를 2.05 → 6.43으로 대폭 개선 - 캐스케이드(Cascade)형에는 미치지 못하지만 레이턴시(Latency) 측면에서 압도적으로 우위 (near-zero vs 2.1초) - **백엔드 비의존적 설계 (Backend-agnostic design)**로 GPT / Claude / Gemini를 자유롭게 전환 가능 - MIT License로 상업적 이용도 가능

음성 AI 에이전트의 응답 품질과 실시간성을 동시에 요구하는 개발자에게 KAME는 유력한 선택지가 될 수 있습니다.

• KAME 공식 블로그 (Sakana AI) — 아키텍처 상세 및 데모
• GitHub: SakanaAI/kame — 소스 코드 및 설치 절차
• HuggingFace: SakanaAI/kame — 모델 웨이트 (Model Weights)
• arXiv 논문 (2510.02327) — ICASSP 2026 채택 논문
• Kyutai Moshi (GitHub) — 프론트엔드의 베이스가 되는 S2S 모델