Tyger: 오픈 웨이트 스트리밍 ASR 및 풀 듀플렉스 턴 제어 통합 모델

안녕하세요 r/LocalLLaMA 여러분, 저희가 음성 에이전트의 풀 듀플렉스(full-duplex) 턴 제어를 처리하는 작은 모델인 Tyger를 출시합니다. 이것은 무엇인가요?

기본 구조는 다음과 같습니다: NVIDIA Nemotron 3.5 ASR 스트리밍 0.6B에 위에 14M의 인과적 GRU(causal GRU)가 추가된 형태입니다. 80ms마다, 미리 보기(lookahead) 없이 세 가지 상태 중 하나를 선택합니다:

• answer: 사용자가 자신의 차례를 마쳤을 때
• stop: 사용자가 말을 끊었을 때, 에이전트가 말하는 것을 멈춥니다.
• chime in: 에이전트가 “mm-hm”, “oh, really”와 같은 소리를 내며 계속 듣고 있습니다. 이 모델은 마이크 입력과 에이전트 자체의 재생 음성을 모두 들을 수 있어, 에이전트가 자신의 에코(echo)를 사용자의 목소리로 오인하는 것을 방지합니다.

tyger-s2s (Apache-2.0)는 완전한 음성 에이전트를 구현합니다: Tyger + Gemma 4 E4B FP8 + VoxCPM2.

• 도구 호출(Tool calls)
• 최대 4개의 동시 대화 처리 가능
• RTX 5090에서 약 0.7초 답변 시간 (사용자 발화 종료 시점부터 첫 오디오 출력까지 측정)
• 선택적 호스팅 '전문가' [openai] 기능 (기본 비활성화). 이 기능을 끄면 모든 것이 로컬에서 실행되며, 오디오나 텍스트가 기기를 벗어나지 않습니다.

한계점(Limitations)

• Tyger 자체는 작지만, tyger-s2s 스택은 28 GB의 VRAM이 필요합니다. 5090으로 테스트되었으며, 다른 GPU에서는 테스트되지 않았습니다. 3090/4090에 대한 보고를 환영합니다.
• FP32만 지원하며, 양자화(quantization)는 아직 테스트되지 않았습니다.
• 현재까지 오프라인 벤치마크만 제공됩니다.

링크

• 모델: https://huggingface.co/nineninesix/tyger
• 에이전트: https://github.com/nineninesix-ai/tyger-s2s
• 데모 (무료 가입): https://www.nineninesix.ai/

피드백을 환영합니다. 특히 턴 테이킹(turn-taking)이 여전히 어색하게 느껴지는 부분에 대한 의견을 부탁드립니다.
/u/ylankgz 작성