축구 이벤트 데이터는 팀 스포츠에서 선수 동작을 정량적으로 분석하기 위한 풍부한 시공간적 (spatiotemporal) 소스를 구성합니다. 이러한 데이터셋은 연속적인 위치 좌표와 동작 유형 (action type), 동작 결과 (action outcome), 신체 부위 (body part)와 같은 범주형 변수 (categorical variables)를 결합한 이질적인 특징들을 포함하고 있습니다. 이러한 데이터는 경기 결과 예측, 선수 평가, 전술 패턴 인식 등 스포츠 분석 분야에 적용되어 왔습니다. 그러나 기존의 접근 방식들은 주로 원-핫 인코딩 (one-hot encoding) 또는 순서형 임베딩 (ordinal embedding) 표현을 사용하여 범주형 특징을 인코딩하며, 동작 기술어 (action descriptors)의 내재적인 의미론 (semantics)을 간과하고 있습니다. Transformer는 임의의 위치에 있는 입력 특징 간의 의존성을 포착하는 셀프 어텐션 (self-attention) 기반의 심층 신경망 (deep neural network) 구조입니다. 본 논문에서는 범주형 이벤트 특징들 사이의 잠재적 의존성을 학습하고 축구 이벤트의 밀집 표현 (dense representations)을 생성하기 위한 Transformer 기반 모델을 제안하고 구현합니다. 범주형 특징을 학습된 임베딩 벡터 (embedding vectors)로 인코딩함으로써, 사전 학습 (pretraining) 과정 동안 스포츠 특화된 동작 의미론을 포착하며, 이를 통해 생성된 표현이 동작 가치 추정 (action value estimation) 및 플레이 스타일 인식 (play style recognition)과 같은 다운스트림 태스크 (downstream tasks)를 지원할 수 있도록 합니다. 실증적 평가 결과, 임베딩 표현은 브라이어 점수 (Brier score)로 측정했을 때 다운스트림 예측 태스크에서 태스크 특화 베이스라인 (task-specific baselines)보다 우수한 확률 교정 (probability calibration) 성능을 보여주었습니다.