Event2Vec: 선형 점수(linear score)가 개별 이벤트 항으로 정확히 분해되는 가산적 이벤트 임베딩

저는 Event2Vec이라는 라이브러리를 개발해 왔습니다. 이 라이브러리는 이산적인 이벤트 시퀀스(구매, 로그, 임상 코드 등)의 임베딩을 학습하는 작은 도구입니다. 이 구조는 의도적으로 단순합니다. 즉, 히스토리(history)는 해당 이벤트 벡터들의 누적 합계로 이루어집니다. $h_t = h_{t-1} + e_{x_t}$ (정규화 클리핑 적용). 다음 이벤트의 확률은 $p(x_{t+1} | h_t) = ext{softmax}(W h_t + b)$로 계산됩니다. 학습은 자기 지도 방식(self-supervised)의 다음 이벤트 예측과, $h_t - h_{t-1}$이 $e_{x_t}$를 복구하도록 요구하는 재구성 항(reconstruction term)으로 이루어집니다. 레이블이 필요 없습니다 (작동 원리에 대한 자세한 내용은 NeurReps@NeuralIPS 워크숍 논문에 나와 있습니다. 이는 재구성을 시도하고 학습 중 산술적 규칙을 따르도록 하는 일련의 손실 함수들입니다). 히스토리는 합계이기 때문에, 그 위에 적용되는 모든 선형 모델 역시 합계가 됩니다. 예를 들어, 이탈률(churn) 또는 위험 점수(risk score)는 $ ext{score} = w ullet h + b = ext{Σ}_i (e_i ullet w) + b$와 같습니다. 사람들은 $e_1 + e_2 = e_2 + e_1 = e_3$가 될 수 있는지 의문을 제기할 수도 있지만, 학습 과정에서는 그렇지 않습니다. 벡터 임베딩이 유클리드 공간(Euclidean space)에서 교환적(commutative)일지라도, 학습 과정은 교환적이지 않을 수 있습니다. 게다가, 이 라이브러리에는 기로/비교환적인 여러 대안 공간들이 포함되어 있습니다 (웹사이트를 확인해 보세요). 쌍곡 공간(hyperbolic, Möbius 덧셈), 계층 구조의 $ ext{k}$-스테레오그래픽, 평면에서 구형으로 변하는 곡률 다이얼(Bachmann et al., 2020)을 가진 구형 공간(spherical), 순환 구조를 위한 $ ext{SO}(n)$ 회전 등 비교환적인 것들이 있습니다. 따라서 순서가 끝점(endpoint)을 변화시킵니다. 헤이젠베르크 그룹(Heisenberg group)도 마찬가지입니다. 같은 끝점을 가지지만, 위에서 언급된 요소들의 순서 곱을 기록하는 부호화된 면적 좌표를 사용합니다. 저는 Advanced Light Source (Berkeley Lab)에서 결함 시퀀스에 대한 근본 원인 분석을 위해 이것을 시작했습니다. 그곳에서 Word2Vec을 이벤트 로그에 순진하게 사용하고 있었고, 불투명한 시퀀스 모델로 가지 않고 방향성(directionality)이 필요했기 때문입니다. 논문 링크: arXiv 2509.12188 코드 (MIT): github: event2vec_public , pip install event2vector 인터랙티브 그림이 있는 문서: event2vec.com scikit-learn 스타일 API ($ ext{fit}$ / $ ext{transform}$, gensim 스타일 $ ext{most} ext{ extunderscore} ext{similar}$), PyTorch 백엔드, CPU/CUDA/MPS에서 실행 가능합니다. 제출자: /u/sulcantonin [링크] [댓글]