시퀀스 모델링 (Sequence modeling)은 사용자의 과거 행동을 모델링하고 사용자의 의도를 추론할 수 있는 능력 덕분에 추천 및 랭킹 알고리즘에서 점점 더 인기를 얻고 있습니다. 이론적인 단순함에도 불구하고, 시퀀스의 복잡성과 희소한 레이블 (sparse labels)로 인해 실제 운영 환경에 시퀀스 모델을 배포하는 것은 쉽지 않은 일입니다. 예를 들어, Airbnb의 경우 게스트 시퀀스는 종종 길고, 탐색적이며 복잡하며, 저희는 희소한 특성을 가진 예약 레이블 (booking labels)에 집중합니다. 따라서 효과성과 확장성 (scalability) 사이의 균형을 맞추기 위해 데이터 및 모델링과 관련된 다양한 설계 결정을 내려야 하는 경우가 많습니다. 본 연구는 이러한 운영상의 과제들을 깊이 있게 탐구하였으며, Airbnb의 검색 랭킹을 위한 시퀀스 모델링 솔루션인 JourneyFormer를 배포했습니다. 저희는 게스트 이벤트 선택, ID 임베딩 (ID embeddings), 모델 아키텍처 (model architecture), 레이블 귀속 (label attribution)과 같은 측면을 포함하여 중요한 설계 고려 사항들을 상세히 설명합니다. 또한, 모델 학습 및 추론 (inference)을 가속화하기 위한 몇 가지 맞춤형 전략을 설명합니다. JourneyFormer는 Airbnb의 운영 환경에 성공적으로 배포되었으며, 그 효과와 영향력은 오프라인 랭킹 지표의 개선뿐만 아니라 2개의 운영 서비스에 걸친 온라인 A/B 테스트를 통해 주요 비즈니스 지표의 상당한 이득을 통해서도 입증되었습니다.