xAI가 오픈 소스로 공개한 X(Twitter) 'For You' 추천 알고리즘의 소스 코드 수준 분석 및 34페이지 분량의 아키텍처 Wiki

요약

xAI가 공개한 X(Twitter)의 'For You' 추천 알고리즘을 소스 코드 수준에서 심층 분석한 34페이지 분량의 아키텍처 Wiki를 소개합니다. 이 문서는 오케스트레이션, 파이프라인, ML 리콜 및 랭킹 등 시스템의 5가지 핵심 구성 요소를 코드 행 번호와 함께 상세히 설명합니다.

핵심 포인트

• X의 추천 시스템은 오케스트레이션, 파이프라인, 포스트 저장소, ML 리콜/랭킹, 콘텐츠 이해의 5개 계층으로 구성됨
• Rust 기반의 온라인 서비스가 후보 파이프라인 오케스트레이션, 점수 산정, 필터링 및 광고 혼합 배치를 담당함
• Thunder는 포스트 메모리 저장 및 Kafka 실시간 쓰기를, Phoenix는 양방향 타워 리콜과 Grok transformer 랭킹을 수행함
• Grox는 VLM을 활용하여 콘텐츠 분류 및 멀티모달 임베딩을 처리함