트랜스크립트에서 쿼리 기반 주제 위치 파악을 위한 잠재 음성 표현 재사용

긴 트랜스크립트는 다운스트림 NLP 시스템에 비용이 많이 드는 입력이며 종종 관련 없는 문맥을 포함합니다. 우리는 쿼리 조건부 주제 위치 파악(query-conditioned topic localization)을 연구했습니다. 이는 주제 제목 쿼리에 가장 잘 대응하는 트랜스크립트의 문장 구간을 예측하는 것입니다. 스팬 위치 파악 능력을 향상시키기 위해, 우리는 ASR 인코더 상태를 문장 수준 표현으로 재사용하고 이를 텍스트 임베딩과 융합했습니다. 이렇게 함으로써 경량화된 스팬 로케이터는 별도의 오디오 인코더를 실행하지 않고도 음성 정보를 활용할 수 있게 됩니다. 두 개의 공개 데이터셋에 대한 실험은 텍스트 전용 기준선 대비 일관된 성능 향상을 보여주었으며, 특히 엄격한 경계 매칭 기준 하에서 그러했습니다. 교차 데이터셋 실험은 또한 이러한 이점이 구조화되거나 반(semi)-구조화된 음성에서 가장 강력하며, 자발적 음성에서의 성능 향상은 제한적이고 혼합되어 있음을 나타냅니다.