자기 주도 읽기(Self-paced reading)에서의 의미론적 연관성 모델링: 언어 모델 임베딩을 활용하여

단어와 그 문맥 사이의 의미론적 연관성(Semantic association)은 단어 예측 가능성(Word predictability)을 고려하더라도 독해(Reading comprehension)의 중요한 구성 요소로 확인되어 왔습니다. 최근 연구들은 의미론적 연관성을 정량화하는 데 있어 언어 모델(Language Model, LM) 임베딩의 잠재력을 강조해 왔습니다. 그러나 임베딩 기반의 의미론적 연관성은 매우 다양한 방식으로 실행되어 왔습니다. 본 연구에서는 자연스러운 네덜란드어 텍스트에 대한 뇌전도(Electroencephalography, EEG)와 자기 주도 읽기(Self-paced reading)가 결합된 코퍼스를 사용하여, LM의 임베딩을 통해 의미론적 연관성을 추정합니다. 의미론적 연관성은 임베딩 모델과 문맥 길이(Context lengths)를 달리하는 10가지 서로 다른 구현 방식으로 계산됩니다. 다양한 구현 방식에 따른 의미론적 연관성이 N400 및 자기 주도 읽기 시간에 미치는 영향은 베이지안 계층 모델(Bayesian hierarchical models)과 베이즈 요인(Bayes factor)을 사용하여 조사되었습니다. 결과에 따르면, 임베딩 모델의 선택이 N400과 자기 주도 읽기 시간 모두에 미치는 의미론적 연관성의 추정 효과를 변화시킬 수 있음을 보여줍니다. 나아가, 본 연구 결과는 문장 임베딩(Sentence embeddings)이 의미론적 연관성을 포착하는 데 유망한 잠재력을 가지고 있음을 입증합니다. 이는 문장 임베딩에 의존하는 구현 방식만이 신경학적 및 행동적 측정치 모두에서 단어 예측 가능성을 넘어선 신뢰할 수 있는 의미론적 연관성 결과를 나타냈기 때문입니다. 종합적으로, 이러한 발견은 의미론적 연관성을 정량화할 때 방법론적 선택이 중요하다는 점을 강조합니다.