독해 난이도 예측 도구로서의 에너지 기반 트랜스포머 (Energy-Based Transformers)

요약

본 연구는 에너지 기반 트랜스포머를 활용하여 인간의 독해 난이도를 예측하는 새로운 방법을 제시합니다. 에너지 척도는 기존의 surprisal이나 attention entropy보다 독해 시간을 더 정확하게 예측하며, 계산 심리언어학 분야에서 통합적인 예측 인자로 기능할 수 있음을 입증했습니다.

핵심 포인트

• 에너지 기반 트랜스포머와 연상 메모리 모델 간의 공식적 연결 확인
• 독해 시간 예측에 있어 기존 surprisal보다 높은 적합도 제공
• 관계절 처리 시 발생하는 목적어/주어 비대칭성 포착 가능
• 에너지가 attention entropy와 surprisal을 통합하는 단일 지표 역할 수행