Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
TiCodec은 시불변 표현 추출(TIRE) 모듈을 통해 음성 콘텐츠에서 화자 및 환경 정보를 분리하는 신경망 음성 코덱 연구입니다. 중간 레이어의 상호 보완성을 활용한 Dual-TIRE 구조를 제안하며, 스트리밍 환경에서도 성능 저하 없이 저지연 음성 처리가 가능함을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기신경망 음성 코덱(Neural speech codecs)은 코덱 기반 음성 생성 시스템에서 중간 표현(intermediate representations)으로 점점 더 많이 사용되고 있습니다. TiCodec은 시불변 표현 추출(Time-Invariant Representation Extraction, TIRE) 모듈을 통해 시간에 따라 변하는 음성 콘텐츠를 시불변 정보(time-invariant information)로부터 분리하는 인수분해된 표현(factorized representation)을 도입하며, 이는 프레임 수준(frame-level)에서 모델링해야 하는 정보의 양을 잠재적으로 줄여줍니다. 본 연구에서는 TIRE 표현이 포착하는 정보의 성격과 저지연(low-latency) 음성 처리로의 적합성을 조사합니다. 일련의 프로빙 태스크(probing tasks)를 사용하여 인코더 레이어(encoder layer)의 영향을 분석한 결과, 중간 레이어들은 언어적 콘텐츠(linguistic content)는 거의 포함하지 않으면서 화자(speaker) 및 환경(environment) 관련 정보를 상호 보완적으로 포착한다는 것을 보여줍니다. 나아가 TIRE 학습을 위한 여러 세그먼트 선택 전략(segment selection strategies)을 연구하였으며, 파일 간 샘플링(cross-file sampling)이 불변 표현(invariant representations)의 강건성(robustness)을 향상시킨다는 것을 입증했습니다. 이러한 발견을 바탕으로, 우리는 서로 다른 인코더 레이어의 상호 보완성을 활용하여 음성 재구성 품질(speech reconstruction quality)과 화자 유사성(speaker similarity)을 개선하는 다층 구조인 Dual-TIRE를 제안합니다. 마지막으로, 연속적인 660ms 처리 블록을 사용하는 스트리밍 추론(streaming inference) 환경에서 TiCodec을 평가합니다. 결과에 따르면 재구성 성능의 유의미한 저하 없이 스트리밍 동작을 달성할 수 있음을 보여주며, 이는 향후 저지연 음성 생성 시스템을 위한 인수분해된 신경망 코덱 표현(factorized neural codec representations)의 잠재력을 강조합니다.