많은 머신러닝 (Machine Learning) 애플리케이션은 이벤트가 도착함에 따라 인과적으로(causally) 또는 전체 시퀀스에 대해 양방향으로(bidirectionally) 예측을 수행하기 위해 이종 이벤트 스트림 (heterogeneous event streams)에 의존합니다. 우리는 이벤트 유형별 테이블 인코더 (tabular encoders)를 시간 및 유형 임베딩 (temporal and type embeddings)과 결합하고, 인과적 또는 양방향 트랜스포머 (transformer)에 의해 처리되는 계층적 구조인 SOHET (Sequence Of Heterogeneous Events Transformer)를 제안합니다. 우리는 인과적 설정 (causal setting)을 위한 세 가지 자기지도 사전 학습 (self-supervised pre-training) 목적 함수를 도입합니다. 17개의 이벤트 유형를 가진 Booking.com의 독점적인 대규모 실제 사기 탐지 (fraud detection) 작업에서, SOHET는 FlexTPP, NAPPT, 그리고 CIPPT보다 5.8% 더 높은 성능을 보였습니다. 사전 학습 (Pre-training)은 2.6%의 추가적인 이득과 2.4% 더 빠른 수렴 (convergence)을 가져옵니다. EBES 벤치마크에서, 양방향 SOHET는 8개 작업 중 6개에서 발표된 최고 성능과 일치하거나 이를 능가합니다.