xAI가 오픈 소스로 공개한 X(Twitter) 'For You' 추천 알고리즘의 소스 코드 수준 분석 및 34페이지 분량의 아키텍처 Wiki
요약
xAI가 공개한 X(Twitter)의 'For You' 추천 알고리즘을 소스 코드 수준에서 심층 분석한 34페이지 분량의 아키텍처 Wiki를 소개합니다. 이 문서는 오케스트레이션, 파이프라인, ML 리콜 및 랭킹 등 시스템의 5가지 핵심 구성 요소를 코드 행 번호와 함께 상세히 설명합니다.
핵심 포인트
- X의 추천 시스템은 오케스트레이션, 파이프라인, 포스트 저장소, ML 리콜/랭킹, 콘텐츠 이해의 5개 계층으로 구성됨
- Rust 기반의 온라인 서비스가 후보 파이프라인 오케스트레이션, 점수 산정, 필터링 및 광고 혼합 배치를 담당함
- Thunder는 포스트 메모리 저장 및 Kafka 실시간 쓰기를, Phoenix는 양방향 타워 리콜과 Grok transformer 랭킹을 수행함
- Grox는 VLM을 활용하여 콘텐츠 분류 및 멀티모달 임베딩을 처리함
xAI가 오픈 소스로 공개한 X(Twitter) 'For You' 추천 알고리즘을 소스 코드 수준으로 분해하여, 모든 결론을 구체적인 코드 행 번호로 추적할 수 있는 34페이지 분량의 상호 연결된 아키텍처 Wiki를 생성했습니다.
https://github.com/cclank/x-algorithm-wiki
X의 'For You' 추천 시스템은 오케스트레이션 계층 (Orchestration Layer), 파이프라인 프레임워크 (Pipeline Framework), 포스트 저장소 (Post Repository), ML 리콜 및 랭킹 (ML Recall & Ranking), 콘텐츠 이해 (Content Understanding)의 다섯 가지 주요 부분으로 나뉩니다. 이 Wiki는 전체 내용을 34페이지로 구성하였으며, 11페이지는 코드 지식이 없어도 이해할 수 있는 쉬운 가이드로, 23페이지는 소스 코드를 직접 첨부한 기술 페이지로 구성되었습니다. Rust로 작성된 온라인 서비스는 후보 파이프라인 오케스트레이션 (Candidate Pipeline Orchestration), 점수 산정 및 랭킹 (Scoring & Ranking), 필터링 (Filtering) 및 광고 혼합 배치 (Ad Mixed-ranking)를 담당합니다. Thunder는 사이트 내 포스트의 메모리 저장 및 Kafka 실시간 쓰기를 관리하며, Phoenix는 양방향 타워 리콜 (Two-tower Recall)과 Grok transformer 랭킹을 수행합니다. Grox는 VLM을 사용하여 콘텐츠 분류 및 멀티모달 임베딩 (Multimodal Embedding)을 수행합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @qingq77 (검증됨)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기