트랜스크립트에서 쿼리 기반 주제 위치 파악을 위한 잠재 음성 표현 재사용

요약

본 연구는 긴 트랜스크립트에서 쿼리 조건부 주제 위치 파악(query-conditioned topic localization)을 수행하는 방법을 제안합니다. ASR 인코더 상태를 문장 수준 표현으로 재사용하고 이를 텍스트 임베딩과 결합하여, 별도의 오디오 인코더 없이도 음성 정보를 활용할 수 있는 경량화된 스팬 로케이터를 개발했습니다.

핵심 포인트

• 쿼리 기반 주제 위치 파악을 연구함.
• ASR 인코더 상태 재사용으로 효율성을 높임.
• 별도의 오디오 인코더 없이 음성 정보 활용 가능.
• 구조화된 음성에서 성능 향상이 가장 강력함.