SOHET: 자기지도 사전 학습(Self-Supervised Pre-Training)을 결합한 이종 이벤트 시퀀스 트랜스포머(Sequence
요약
이종 이벤트 스트림을 처리하기 위해 자기지도 사전 학습을 결합한 계층적 트랜스포머 구조인 SOHET를 제안합니다. Booking.com의 사기 탐지 데이터와 EBES 벤치마크를 통해 기존 모델 대비 우수한 성능과 빠른 수렴 속도를 입증했습니다.
핵심 포인트
- 이종 이벤트 유형을 위한 테이블 인코더와 시간/유형 임베딩 결합
- 인과적 설정을 위한 세 가지 자기지도 사전 학습 목적 함수 도입
- Booking.com 사기 탐지 작업에서 기존 모델 대비 5.8% 성능 향상
- EBES 벤치마크 8개 작업 중 6개에서 최고 성능 달성
많은 머신러닝 (Machine Learning) 애플리케이션은 이벤트가 도착함에 따라 인과적으로(causally) 또는 전체 시퀀스에 대해 양방향으로(bidirectionally) 예측을 수행하기 위해 이종 이벤트 스트림 (heterogeneous event streams)에 의존합니다. 우리는 이벤트 유형별 테이블 인코더 (tabular encoders)를 시간 및 유형 임베딩 (temporal and type embeddings)과 결합하고, 인과적 또는 양방향 트랜스포머 (transformer)에 의해 처리되는 계층적 구조인 SOHET (Sequence Of Heterogeneous Events Transformer)를 제안합니다. 우리는 인과적 설정 (causal setting)을 위한 세 가지 자기지도 사전 학습 (self-supervised pre-training) 목적 함수를 도입합니다. 17개의 이벤트 유형를 가진 Booking.com의 독점적인 대규모 실제 사기 탐지 (fraud detection) 작업에서, SOHET는 FlexTPP, NAPPT, 그리고 CIPPT보다 5.8% 더 높은 성능을 보였습니다. 사전 학습 (Pre-training)은 2.6%의 추가적인 이득과 2.4% 더 빠른 수렴 (convergence)을 가져옵니다. EBES 벤치마크에서, 양방향 SOHET는 8개 작업 중 6개에서 발표된 최고 성능과 일치하거나 이를 능가합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기