PairAlign: Sequence Tokenization을 위한 Self-Alignment 프레임워크 및 오디오 토크나이제이션에 대한 응용

요약

PairAlign은 오디오 토크나이제이션을 위한 새로운 자기 정렬(self-alignment) 프레임워크입니다. 기존 방식들이 로컬 할당에 의존하여 시퀀스 일관성이나 길이 제어에 취약했던 문제를 해결하기 위해, PairAlign은 토크나이제이션을 조건부 시퀀스 생성 문제로 접근합니다. 이 프레임워크는 자기회귀 디코더를 사용하여 토큰 정체성, 순서, 길이 등을 학습하며, 두 내용 보존 뷰 간의 상호 일관성을 강하게 유지하여 컴팩트하고 비퇴화적인 오디오 시퀀스를 생성할 수 있습니다.

핵심 포인트

• PairAlign은 오디오 토크나이제이션을 조건부 시퀀스 생성 문제로 모델링합니다.
• 자기회귀 디코더를 사용하여 토큰의 정체성, 순서, 길이 등을 동시에 학습하여 시퀀스 일관성을 높입니다.
• 두 내용 보존 뷰(content-preserving views) 간의 상호 예측 및 경쟁 시퀀스를 통해 편집 거리 보존과 many-to-one collapse를 방지합니다.
• 기존 VQ 스타일 토크나이제이션 대비, PairAlign은 더 컴팩트하고 비퇴화적인 시퀀스 학습 능력을 보여줍니다 (예: 3초 음성에서 넓은 어휘 사용 및 강한 크로스 뷰 일관성).
• TIMIT 검색과 같은 응용 분야에서 편집 거리 검색을 보존하면서 아카이브 토큰 수를 크게 줄일 수 있습니다.