Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Tencent Hunyuan에서 개발한 Hy-SimulMT는 실시간 양방향 음성-음성 동시 통역 모델입니다. 이 모델은 화자의 목소리 특성을 유지하는 보이스 클로닝 기능을 제공하며, 회의나 인터뷰 같은 라이브 커뮤니케이션 환경에 최적화되었습니다. 평가 결과, 낮은 지연 시간(StreamLAAL)과 높은 성능을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기https://huggingface.co/tencent/Hy-SimulMT-30B-A3B-GGUF https://huggingface.co/tencent/Hy-SimulMT-30B-A3B-Interleave-GGUF
Hy-SimulMT는 Tencent Hunyuan에서 개발한 실시간 동시 통역 모델로, 중국어와 영어 간의 양방향 음성-음성(speech-to-speech) 번역을 지원합니다. 이 모델은 들어오는 오디오를 지속적으로 수신하여 화자가 말하는 동안 번역된 텍스트와 음성을 모두 생성합니다. 실시간 보이스 클로닝(voice cloning) 기능을 통해 메시지를 정확하게 전달하면서도 화자의 목소리 특성을 유지합니다.
회의, 연설, 인터뷰와 같은 라이브 커뮤니케이션 환경에 맞춰 설계된 Hy-SimulMT는 대화 흐름을 끊는 기다림의 방해 요소를 줄이면서 정보를 정확하게 전달하는 것을 목표로 합니다. 번역 품질과 응답 속도 사이의 균형을 평가하기 위해, 저희는 공개 벤치마크, 실제 오디오, 그리고 전문 동시 통역가와의 비교를 결합했습니다.
RealSI 장문 오디오 평가에서 Hy-SimulMT는 약 3초의 StreamLAAL을 달성하여 비교된 모든 시스템 중 가장 낮은 수치를 기록했습니다. 또한 GEMBA 점수는 비교된 오픈 소스 모델과 상업용 API 5개 중 4개를 능가하는 성능을 보였습니다.
GitHub 저장소에서는 SimulInfer 추론 서비스와 SimulTrain 학습 도구를 제공합니다. 음성 출력 및 보이스 클로닝에는 구성된 TTS(Text-to-Speech) 서비스가 필요합니다. 또한 Hy Translate App에서도 Hy-SimulMT를 사용해 볼 수 있습니다.
submitted by /u/jacek2023 [link] [comments]