GSLM2: 다중 스트림 음성 표현 학습 및 생성형 음성 언어 모델링

원문 발행 2026. 11. 01. 02:31원문 언어 영어AI 한국어 번역arXiv cs.CL 원문 보기

요약

GSLM2는 음성 기반 언어 모델링의 한계를 극복하기 위해 다중 스트림 아키텍처를 제안합니다. 이 모델은 여러 추상화 수준에서 음성의 상보적 속성을 학습하며, SpidR 2.0 인코더와 교차 스트림 의존성을 포착하는 헤드를 사용합니다. 그 결과, 기존 시스템 대비 음성-텍스트 LM 간의 격차를 크게 줄이고 우수한 성능을 입증했습니다.

핵심 포인트

GSLM2는 다중 추상화 수준에서 음성의 상보적 속성을 학습합니다.
SpidR 2.0 인코더가 자기 지도 학습으로 고품질 이산 단위를 유도합니다.
다중 스트림 구조로 교차 스트림 의존성 포착 능력이 뛰어납니다.
음성 기반과 텍스트 기반 LM 간의 격차를 실질적으로 줄였습니다.

생성형 음성 언어 모델(Generative spoken language models, SLMs)은 오직 음성만으로 언어 구조를 학습할 수 있는 경로를 제공하지만, 현재는 능력과 데이터 확장 효율성 면에서 텍스트 기반 모델에 크게 뒤처져 있습니다. 우리는 이러한 격차의 근저에 깔린 두 가지 병목 현상을 파악했습니다: 기존 음성 단위의 제한적인 언어적 품질과 음성을 표현하기 위해 단일 스트림의 이산 단위(discrete units)에 의존하는 것입니다. 음향 특징을 인코딩하는 데는 여러 코드북(codebooks)이 널리 사용되지만, 이를 음성 의미론(speech semantics)을 나타내는 데 사용하는 경우는 드뭅니다. 우리는 GSLM2를 제시하며, 이는 다중 추상화 수준에서 음성의 상보적인 속성을 학습하고 모델링합니다. 이 모델의 인코더인 SpidR 2.0은 자기 지도 학습(self-supervised learning)과 미분 가능한 예측 헤드(differentiable prediction heads)를 사용하여 여러 레벨에서 고품질의 이산 단위를 유도합니다. 이후 다중 스트림 SLM은 공유 시간 백본(shared temporal backbone), 스트림별 예측기(stream-specific predictors), 그리고 교차 스트림 의존성(cross-stream dependencies)을 포착하는 자기회귀 헤드(autoregressive head)를 사용하여 이러한 단위들을 공동으로 모델링합니다. 최대 6백만 시간 및 65억 개의 매개변수에 이르는 다양한 학습 데이터 크기와 모델 규모에 걸쳐, GSLM2는 데이터와 더 효율적으로 확장하면서 언어적 역량을 지속적으로 향상시킵니다. 그 결과, 이는 음성 기반과 텍스트 기반 LM 사이의 격차를 실질적으로 줄입니다. 읽기 및 대화형 음성 도메인 전반에 걸쳐 sWuggy, sBLIMP, tSC에서 약 두 자릿수만큼 격차를 축소했으며, 세 가지 작업 모두에서 경쟁적인 음성-텍스트 시스템보다 우수한 성능을 보였습니다. 우리는 학습 코드와 모델 체크포인트(model checkpoints)를 https://github.com/facebookresearch/gslm2에서 오픈 소스합니다.

AI 자동 생성 콘텐츠

원문 바로가기

GSLM2: 다중 스트림 음성 표현 학습 및 생성형 음성 언어 모델링

요약

핵심 포인트

댓글