독해 난이도 예측 도구로서의 에너지 기반 트랜스포머 (Energy-Based Transformers)

Transformer 언어 모델은 인간의 문장 처리 (sentence processing) 모델링을 위한 확립된 도구가 되었으며, surprisal (놀람도) 및 attention entropy (주의력 엔트로피)와 같은 척도들은 처리 부하 (processing load)의 상호 보완적인 측면을 함께 포착하여 독해 난이도의 효과적인 예측 인자로 활용되고 있습니다. 본 연구에서는 이와 관련된 트랜스포머 모델의 한 종류인 에너지 기반 트랜스포머 (energy-based transformers)를 탐구합니다. 이는 연상 메모리 모델 (associative memory models)과의 원칙적이고 공식적인 연결을 제공하며, 처리 연구를 Hopfield networks (홉필드 네트워크) 및 dense associative memory (밀집 연상 메모리)에 관한 더 넓은 문헌과 직접적으로 접목시킵니다. 우리가 알기로는, 이것이 계산 심리언어학 (computational psycholinguistics) 분야에서 에너지 기반 트랜스포머 척도를 탐구한 첫 번째 사례입니다. 독해 시간 코퍼스 (Natural Stories, UCL eye-tracking, UCL self-paced reading) 전반에 걸쳐, 에너지 척도는 독해 시간의 강력한 예측 인자이며, 세 가지 코퍼스 모두에서 surprisal을 넘어서는 유의미한 적합도 (fit)를 제공합니다. 관계절 처리 (relative clause processing)에 관한 통제된 실험에서, 단일 레이어의 에너지는 잘 알려진 목적어/주어 비대칭성 (object/subject asymmetry)을 포착합니다. 우리는 에너지가 attention entropy와 surprisal 모두에 기인하는 효과들을 포괄한다는 증거를 발견하였으며, 이는 이전에 여러 상호 보완적인 척도들이 필요했던 곳에서 에너지가 단일 통합 예측 인자 (single unified predictor)로서 기능할 수 있음을 시사합니다.