TrajTok: 궤적 표현 학습을 위한 적응형 공간 토큰화 (Adaptive Spatial Tokenization)

원시 GPS 흔적(GPS traces)으로부터 일반화 가능한 궤적 표현(trajectory representations)을 학습하는 것은 데이터가 연속적이고, 노이즈가 많으며, 불규칙하게 샘플링되기 때문에 여전히 어렵습니다. 공간 토큰화(Spatial tokenization) 또한 도전적인 과제입니다. 세밀한 격자(fine grids)는 임베딩(embeddings)이 약한 희소한 셀(sparse cells)을 생성하는 반면, 거친 격자(coarse grids)는 이질적인 이동 패턴을 동일한 토큰으로 병합해 버립니다. 우리는 전이 가능한 궤적 임베딩(trajectory embeddings)을 위한 간단한 사전 학습 레시피를 갖춘 궤적 인코더인 TrajTok을 제시합니다. TrajTok은 먼저 GPS 포인트의 공간적 분포로부터 다중 해상도 육각형 셀 분할(multi-resolution hexagonal cell partition)을 학습하여, 노이즈가 있는 GPS 시퀀스를 이산적인 셀 토큰(discrete cell tokens)으로 변환합니다. 기하학적 구조(geometry)와 운동학적 패턴(kinematics)을 모두 포착하기 위해, TrajTok은 초기 모달리티별 셀프 어텐션 블록(per-modality self-attention blocks), 교차 어텐션 융합 레이어(cross-attention fusion layers), 그리고 각 토큰이 발생하는 위치와 시간을 인코딩하기 위한 시공간 회전 위치 임베딩(spatiotemporal rotary position embeddings, ST-RoPE)을 사용하는 인수분해된 트랜스포머 인코더(factorized transformer encoder)를 사용합니다. TrajTok은 부분적인 궤적 관측으로부터 기하학적 구조와 운동학적 패턴을 모두 복구하는 마스크 토큰 모델링(masked-token modeling)으로 사전 학습됩니다. Porto 데이터셋에서 경량 태스크 어댑터(task adapters)를 결합한 동결된(frozen) TrajTok 인코더는 궤적 유사도 검색(trajectory similarity search), 분류(classification), 도착 예정 시간(estimated time of arrival), 전체 이동 시간 회귀(full travel-time regression) 전반에 걸쳐 강력한 성능을 달성하며 여러 태스크 특화 방법론들을 능가했습니다. 동일한 동결된 인코더가 기하학 중심 태스크와 운동학 중심 태스크를 모두 지원한다는 점은 TrajTok이 태스크 특화된 지름길(shortcuts)이 아닌 전이 가능한 궤적 구조를 학습함을 시사합니다. 이러한 결과는 학습된 다중 해상도 공간 토큰화와 마스크 토큰 사전 학습의 결합이 범용 궤적 파운데이션 모델(general-purpose trajectory foundation models)을 위한 유망한 방향임을 나타냅니다.