ByteDance는 BytePlus를 통해 단 한 번의 생성으로 음성(Speech), 음악(Music), 효과음(Sound effects)을 동시에 출력할 수 있는 비스트리밍(Non-streaming) TTS 모델인 Seed Audio 1.0을 출시했습니다.

이 모델은 참조 오디오 가이드(Reference audio guidance), 이미지 가이드 오디오(Image-guided audio)를 지원하며, 말하기 속도(Speech rate), 볼륨(Volume), 피치(Pitch)와 같은 파라미터를 정밀하게 제어할 수 있습니다.

음성만을 처리하는 전통적인 TTS 모델과 달리, 이는 복잡한 장면을 위한 오디오 콘텐츠를 한 번에 완성하는 멀티모달 오디오 생성 모델(Multimodal audio generation model)에 더 가깝습니다.

현재 이 모델은 기업용 애플리케이션에 대해서만 공개되어 있습니다. 초기 피드백에 따르면 생성된 오디오는 상당히 자연스럽게 들리지만, 지속 시간(Duration)에 대한 미세한 제어는 여전히 부족하다는 의견이 있습니다.

이는 사실 음성(Speech)을 배경 효과음 및 음악과 결합하여 하나의 모델로 해결하려는 ByteDance의 상당히 공격적인 오디오 생성 분야의 시도입니다.

오늘 밤, 저는 Skills 설명 영상 프로젝트를 다시 반복하며 애니메이션을 새로운 버전으로 최적화했습니다. 이전보다 훨씬 좋아졌습니다.

Bristol(LayerProof 출신)은 매우 실질적인 문제를 해결하고자 합니다. 전통적인 보고서는 장황하고 지루하며, 고객들은 단순히...