Mamba의 타임스텝(Timesteps)은 인간의 읽기 시간과 일치한다

본 연구는 대중적인 상태 공간 언어 모델 (State-Space Language Model)인 Mamba의 단어당 처리 시간이 인간 독자의 읽기 시간과 일치함을 보여줍니다. Mamba에서 각 레이어의 순환 상태 전이 (recurrent state transition)는 개념적으로 입력에 대응하여 동적으로 결정되는 이산화 타임스텝 (discretization timestep) $Δ_t$ 만큼의 시간을 소요합니다. 자연스러운 읽기 데이터셋을 사용하여, 우리는 Mamba의 단어당 타임스텝이 인간의 읽기 시간을 예측하는 유의미한 예측 변수임을 보여주며, GPT-2의 놀람도 (surprisal)와 같은 알려진 예측 변수들을 통제했을 때도 유의미함이 유지됨을 입증합니다. 나아가 우리는 Mamba의 아키텍처와 내부 역학 (internal dynamics)에 대한 형식적 분석을 통해, Mamba가 지속적으로 업데이트되는 메모리를 가진 인간의 실시간 언어 처리 과정을 살펴볼 수 있는 새롭고 가치 있는 렌즈 역할을 할 수 있음을 제안합니다. 이는 각 모듈 (레이어)이 단기 및 장기 정보 유지 (information retention)를 어떻게 가중하는지, 그리고 노이즈가 동적이고 연속적인 메모리 표현 (memory representation)과 어떻게 상호작용하는지를 살펴볼 수 있게 해주기 때문입니다. 코드는 온라인에서 확인할 수 있습니다.