유계 메모리 게이트를 갖춘 안정적인 자기 변조 양자 고속 가중치 프로그래머 (Stable Self-Modulating Quantum
요약
양자 고속 가중치 프로그래머(QFWP)의 긴 시퀀스 처리 시 발생하는 발산 문제를 해결하기 위해 유계 메모리 게이트를 적용한 새로운 연구를 소개합니다. tanh 게이트를 통해 이전 상태의 변조을 안정화함으로써 양자 시퀀스 모델링의 강건성을 향상시켰습니다.
핵심 포인트
- QFWP의 무계 이전 상태 승수로 인한 발산 문제 해결
- tanh 게이트를 이용한 유계 이전 상태 변조 규칙 제안
- CUDA-Q 및 Milan SMS 데이터셋을 통한 성능 검증
- 이전 상태 게이팅이 모델 안정화의 핵심 메커니즘임을 확인
양자 고속 가중치 프로그래머 (Quantum Fast-Weight Programmers, QFWPs)는 비선형 순환 은닉 상태 (nonlinear recurrent hidden states) 대신 동적으로 프로그래밍된 변분 회로 (variational-circuit) 파라미터에 시간적 정보를 저장하며, 이는 양자 시퀀스 모델링 (quantum sequence modeling)을 위한 실용적인 경로를 제공합니다. 자기 변조 (Self-Modulating) QFWP는 새로운 고속 가중치 업데이트와 누적된 고속 가중치 상태 모두에 입력 의존적 게이트 (input-dependent gates)를 사용하여 이 프레임워크를 개선하지만, 이의 무계 (unbounded) 이전 상태 승수 (old-state multiplier)는 긴 시퀀스 영역에서 발산할 수 있습니다. 우리는 가산 업데이트 (additive update) 및 새로운 업데이트 변조 (new-update modulation)는 변경하지 않은 채, 순환 메모리 분기 (recurrent memory branch)에만 부호를 보존하는 tanh 게이트를 적용하는 유계 이전 상태 변조 규칙 (bounded old-state modulation rule)을 제안합니다. 우리는 두 가지 CUDA-Q 양자 역학 예측 (quantum-dynamics forecasting) 작업과 Milan SMS 통신 활동 예측 작업에서 표준 QFWP, 전체 자기 변조 QFWP, Only-New, 그리고 Only-Old 변형 모델들을 평가합니다. 양자 역학 결과에 따르면, 이전 상태 변조 (old-state modulation)가 표준 QFWP 대비 가장 일관된 개선 원천임을 보여주며, 이전 상태 게이트를 유계 (bounding) 처리함으로써 긴 시퀀스에서의 발산을 제거하는 동시에 종합적인 강건성 (robustness)을 향상시킵니다. Milan SMS 예측의 경우, 기존의 무계 자기 변조 QFWP는 테스트된 그리드 전반에 걸쳐 수렴하며, 더 긴 입력 윈도우에서 가장 명확한 이득을 보였고, 그 동작은 Only-Old 절제 연구 (ablation)와 유사했습니다. 이러한 발견은 누적 메모리 변조 (accumulated-memory modulation)를 자기 변조 QFWP의 핵심 메커니즘으로, 유계 이전 상태 게이팅 (bounded old-state gating)을 표적화된 안정화 전략으로 식별합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기