ProfiLLM: 산업용 차량 호출 배차를 위한 유틸리티 정렬 에이전트 기반 사용자 프로파일링

플랫폼 규모의 행동 로그(behavioral logs)에 대한 의미론적 특징 추출기(semantic feature extractors)로서 대규모 언어 모델(LLMs)을 산업용 차량 호출(ride-hailing) 배차 시스템에 도입하는 것은 매력적이지만 아직 충분히 탐구되지 않은 데이터 시스템 문제입니다. 실제 운영 중인 매칭 파이프라인(matching pipelines)은 여전히 구조화된 수치적 특징(structured numerical features)이 지배하고 있지만, 결정적인 행동 신호(예: 특정 지역에 대한 운전자의 습관적인 기피)는 본질적으로 맥락적이며 LLM이 생성한 사용자 프로필(user profiles)로 자연스럽게 표현될 수 있습니다. 그러나 이러한 프로파일링을 밀리초 단위의 지연 시간(millisecond-latency)을 가진 실시간 배차 시스템으로 확장하는 데에는 다음과 같이 함께 다뤄진 적이 드문 세 가지 상호 연결된 제약 사항이 존재합니다: 첫째, 일일 주문량이 수백만 건에 달하는 플랫폼에서 로그는 어떤 LLM의 컨텍스트 윈도우(context window)보다도 수십 배 더 큽니다. 둘째, 대부분의 사용자는 롱테일(long-tail)에 속하여 개별 사용자 프로파일링을 수행하기에는 상호작용이 너무 적습니다. 셋째, 겉보기에 유창한 프로필이 반드시 다운스트림 예측 유틸리티(downstream prediction utility)를 향상시키는 것은 아닙니다. 우리는 두 개의 모듈을 통해 실제 운영 매칭 시스템을 위한 유틸리티 정렬 사용자 프로파일링을 실행하는 에이전트 기반 LLM 데이터 파이프라인인 ProfiLLM을 제시합니다. (1) 도구 증강 글로벌 지식 마이닝(Tool-Augmented Global Knowledge Mining)은 LLM 에이전트에 27개의 분석 도구를 장착하여 플랫폼 규모의 데이터를 마이닝하고, 재사용 가능한 글로벌 지식, 적응형 사용자 클러스터링 규칙(adaptive user clustering rules), 그리고 지역 수준의 수요-공급 사전 확률(supply-demand priors)을 생성합니다. (2) 유틸리티 정렬 프로필 탐색(Utility-Aligned Profile Exploration)은 클러스터당 여러 개의 후보 프로필을 생성하고, 경량화된 다운스트림 유틸리티 프록시(downstream utility proxy)를 통해 이를 평가하며, 최적의 후보를 반복적으로 정제하고 DPO 미세 조정(DPO fine-tuning)을 위한 선호도 쌍(preference pairs)을 구축합니다. DiDi의 실제 운영 배차 시스템에 배포된 ProfiLLM은 결과 예측에서 최대 +6.14%의 상대적 AUC 향상을 달성하였고, 배차 시뮬레이션에서 최대 +4.35%의 GMV 이득을 기록하였으며, 14일간의 온라인 A/B 테스트에서 GMV +0.47%, 완료율(Completion Rate) +0.33%, 수락 전 취소율(Cancel-Before-Accept rate) -0.82%를 포함한 일관된 개선을 보여주었습니다.