Align, Integrate, 그리고 발화: 제로샷 음성 LLM을 위한 효율적인 토큰 수준 정렬

요약

본 논문은 제로샷 음성 처리를 위한 'Aligned Continuous Integrate-and-Fire' 프레임워크를 제시합니다. 이 방법은 동적 시간 변형(DTW) 정렬을 활용하여 연속적인 음향 프레임을 목표 텍스트의 이산 토큰 길이로 효율적으로 압축합니다. 이를 통해 계산 비용이 높은 LLM 순방향 통과 없이도 강력한 음성-의미론적 연결 고리를 구축하고, 메모리 효율적인 지식 증류를 통해 뛰어난 성능을 달성했습니다.

핵심 포인트

• 제로샷 음성 처리에 최적화된 'Aligned Continuous Integrate-and-Fire' 프레임워크 제안.
• DTW 정렬을 이용해 연속 음향 프레임을 이산 토큰 길이로 효율적으로 압축.
• LLM 순방향 통과를 우회하여 계산 비용을 획기적으로 절감함.
• 메모리 효율적인 지식 증류 목적 함수로 높은 성능 달성.