시계열 모델링을 위한 확률론적 트랜스포머의 잠재성 탐구: ST-PT 프레임워크에 대한 보고서

확률론적 트랜스포머 (Probabilistic Transformer, PT) 는 트랜스포머의 자기 주의력 (self-attention) 과 피드포워드 블록이 조건부 랜덤 필드 (Conditional Random Field, CRF) 에 대한 평균장 변분 추론 (Mean-Field Variational Inference, MFVI) 와 수학적으로 동등함을 입증합니다. 이 동등성 하에서 트랜스포머는 더 이상 블랙박스 신경망이 아니라 프로그래밍 가능한 그래프 (programmable factor graph) 로 변환됩니다. 그래프 토폴로지, 팩터 포텐셜 (factor potentials), 그리고 메시지 전달 스케줄 (message-passing schedule) 은 모두 명시적이고 검사 가능한 원시 요소 (primitives) 로서 엔지니어링될 수 있습니다. PT 는 원래 자연어 처리를 위해 개발되었으며, 본 보고서에서는 이를 시계열 분석에 적용할 잠재성을 조사합니다. 우리는 먼저 PT 를 공간 - 시간 확률론적 트랜스포머 (Spatial-Temporal Probabilistic Transformer, ST-PT) 로 확장하여 PT 의 누락된 채널 축과 약한 단계별 의미 (weak per-step semantics) 문제를 수정하고, 이를 공유된 핵심 백본 (cornerstone backbone) 으로 채택합니다. 이어 PT/ST-PT 가 팩터 - 그래프 모델로서 제공하는 세 가지 구별되는 속성을 식별하고, 각 속성이 시계열에서 어떻게 활용될 수 있는지 탐구하기 위해 각 속성에 대해 하나의 연구 질문 (Research Question) 을 도출합니다.

RQ1: 그래프 토폴로지와 포텐셜은 직접적인 프로그래밍 가능한 원시 요소입니다. 이를 통해 구조적 그래프 수정을 통해, 특히 데이터 부족과 노이즈가 있는 상황에서 ST-PT 에 상징적 시계열 사전 지식 (symbolic time-series priors) 을 주입할 수 있을까요?

RQ2: CRF 의 팩터 행렬은 연산자의 포텐셜입니다. 이를 위해 외부 조건을 사용하여 샘플 단위로 이러한 팩터 행렬을 프로그래밍할 수 있을까요? 그렇게 함으로써 조건부 생성 (conditional generation) 이 고정된 하나의 특징 수준 조절 (feature-level modulation) 에서 구조적 (structural) 인 방식으로 전환될 수 있을까요?

RQ3: 각 MFVI 반복은 팩터 그래프에 대한 베이지안 후행 분포 업데이트 (Bayesian posterior update) 입니다. 이를 통해 잠재 공간 (latent-space) 자기회귀 (AR) 예보의 잠재 전이 (latent transition) 를 불투명한 MLP 에서 원칙적인 후행 업데이트로 전환할 수 있을까요? 또한 CRF 교사가 AR 학생에 자신의 잠재 변수를 증류하여 누적 오차를 상쇄할 수 있을까요?

각 질문마다 하나의 실증 연구를 제시합니다. 함께 이러한 세 가지 연구는 ST-PT 를 시계열 모델링을 위한 프로그래밍 가능한 프레임워크로 자리매김합니다.