TrajTok: 궤적 표현 학습을 위한 적응형 공간 토큰화 (Adaptive Spatial Tokenization)

요약

TrajTok은 노이즈가 많고 불규칙한 GPS 데이터를 효과적으로 처리하기 위해 다중 해상도 육각형 셀 분할을 사용하는 적응형 공간 토큰화 기술입니다. 인수분해된 트랜스포머 인코더와 ST-RoPE를 통해 기하학적 구조와 운동학적 패턴을 동시에 학습하며, 마스크 토큰 모델링 방식으로 사전 학습됩니다. 실험 결과, 동결된 인코더만으로도 궤적 검색, 분류, ETA 예측 등 다양한 태스크에서 기존 방법론을 능가하는 범용성을 입증했습니다.

핵심 포인트

• 다중 해상도 육각형 셀 분할을 통해 세밀한 격자의 희소성 문제와 거친 격자의 정보 손실 문제를 동시에 해결
• 기하학적 구조와 운동학적 패턴을 모두 포착하기 위해 인수분해된 트랜스포머와 시공간 회전 위치 임베딩(ST-RoPE) 도입
• 마스크 토큰 모델링(Masked-token modeling)을 통한 강력한 사전 학습 레시피 제공
• 동결된 인코더를 활용하여 궤적 유사도 검색, 분류, ETA 예측 등 다양한 하위 태스크에 대한 높은 전이 가능성 확인