Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 연구는 텍스트에 의존하는 기존 언어 모델(LMs)의 한계를 극복하고, 음성 LM을 사용하여 음성 신호로부터 직접 놀라움(Surprisal)을 추정하는 방법을 제시합니다. 이를 통해 '놀라움'이 실현체별 음향 입력에 정의되어야 할지, 아니면 추상적인 언어 단위에 정의되어야 하는지에 대한 근본적인 질문을 탐구했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기언어는 주로 구어로 이루어져 있지만, 놀라움 이론(surprisal theory)에 대한 경험적 테스트는 거의 전적으로 문자에 의존합니다. 실제로는 텍스트로 학습된 언어 모델(LMs)을 사용하여 녹취록에 적용하여 놀라움을 추정하며, 이는 음성 양식에서 이 이론의 평가를 제한하는 텍스트 병목 현상(text bottleneck)을 만듭니다. 우리는 음성 LM을 사용하여 음성 신호로부터 직접 놀라움을 추정함으로써 이 병목 현상을 제거합니다. 이는 핵심 질문을 제기합니다: 놀라움은 실현체별 음향 입력(realization-specific acoustic inputs)에 대해 정의되어야 할까요, 아니면 추상적인 언어 단위(abstract linguistic units)에 대해 정의되어야 할까요? 단일 단위가 여러 개의 뚜렷한 음향적 실현체를 가질 수 있고, 각 실현체는 모델에 의해 다른 확률을 할당받기 때문에, 추상적인 단위에 걸쳐 놀라움을 정의하는 것은 어렵습니다. 이를 해결하기 위해, 우리는 텍스트-음성 변환(text-to-speech) 모델이 생성한 실현체들에 대해 주변화(marginalizing over realizations)함으로써 추상적 단위의 확률을 근사하는 중요도 샘플링 추정기(importance sampling estimator)를 도입합니다. 청취 연구에서 얻은 동공측정학(pupillometry) 데이터를 사용하여, 우리는 이 텍스트가 없는 환경(text-free setting)에서 여러 세밀도 수준으로 놀라움 이론을 평가합니다. 여러 음성 LM으로부터 놀라움을 얻으면서, 우리는 중요도 샘플링을 통해 추정된 놀라움이 단어에 대한 실현체별 놀라움보다 동공 확장(pupil dilation)을 더 잘 예측한다는 것을 일관되게 발견합니다. 또한, 우리는 하위 어휘 단위(sub-lexical units)의 놀라움 값이 동공 확장의 예측 변수임을 발견합니다. 비록 텍스트에 의존하지 않고도 놀라움을 추정할 수 있고, 단어의 뚜렷한 실현체들에 대해 주변화하는 것이 어휘 처리 노력(lexical processing effort)을 더 잘 예측하지만, 전체적인 놀라움은 그 출처와 관계없이 동공 크기 변화의 강력한 예측 변수는 아닙니다.