QLAM: 긴 시퀀스 토큰 모델링을 위한 양자 긴-어텐션 메모리 접근 방식

순차적 데이터(sequential data)에서 장거리 의존성(long-range dependencies)을 모델링하는 것은 머신러닝(machine learning)의 핵심 과제로 남아 있습니다. Transformer는 어텐션 메커니즘(attention mechanisms)을 통해 이 과제를 해결하지만, 시퀀스 길이(sequence length)에 따른 이차 복잡도(quadratic complexity)로 인해 긴 컨텍스트(long contexts)에 대한 확장성이 제한됩니다. 상태 공간 모델(State-space models, SSMs)은 순환 업데이트(recurrent updates)를 통해 잠재 상태(latent state)를 진화시킴으로써 선형 시간 계산(linear-time computation)을 제공하는 효율적인 대안을 제시하지만, 이들의 메모리는 일반적으로 가산적(additive) 또는 선형적 전이(linear transitions)를 통해 형성되므로 토큰 간의 복잡한 전역적 상호작용(global interactions)을 포착하는 능력이 제한될 수 있습니다.

본 연구에서는 상태 기반 시퀀스 모델링(state-based sequence modeling)을 강화하기 위해 양자 시스템(quantum systems)의 중첩 특성(superposition property)을 활용하는 최초의 연구 중 하나를 소개합니다. 특히, 우리는 상태 공간 모델(SSMs)의 양자 확장으로 볼 수 있는 하이브리드 양자-고전 메모리 메커니즘인 QLAM(Quantum Long-Attention Memory)을 제안합니다. 가산적 역학(additive dynamics)을 통해 업데이트되는 고전적 잠재 상태(classical latent state)를 유지하는 대신, QLAM은 은닉 상태(hidden state)를 과거 정보의 중첩(superposition)을 인코딩하는 진폭(amplitudes)을 가진 양자 상태(quantum state)로 표현합니다. 상태는 입력에 따라 조건화된 매개변수화된 양자 회로(parameterized quantum circuits)를 통해 진화하며, 이를 통해 비고전적이고 전역적인 업데이트 메커니즘을 가능하게 합니다. 이러한 방식으로 QLAM은 SSMs의 순환적(recurrent)이고 선형 시간 구조를 보존하면서 양자 중첩(quantum superposition)을 통해 메모리 표현을 근본적으로 풍부하게 합니다.

쌍별 상호작용(pairwise interactions)을 명시적으로 계산하는 어텐션 메커니즘(attention mechanisms)과 달리, QLAM은 양자 상태의 진화를 통해 전역적 의존성(global dependencies)을 암시적으로 포착하며, 쿼리 의존적 측정(query-dependent measurements)을 통해 작업 관련 정보를 검색합니다. 우리는 이미지를 토큰 시퀀스로 평탄화(flattened)한 sMNIST, sFashion-MNIST, sCIFAR-10을 포함한 표준 이미지 분류 벤치마크의 순차적 변형 모델에서 QLAM을 평가합니다. 모든 작업에 걸쳐 QLAM은 순환 베이스라인(recurrent baselines) 및 Transformer 기반 모델들에 비해 일관되게 성능을 향상시킵니다.