산업용 검색에서의 LLM 기반 쿼리 주도형 이벤트 타임라인 요약

트렌딩 뉴스에 관한 쿼리를 처리하는 검색 엔진에 있어 이벤트가 시간이 지남에 따라 어떻게 진화하는지 이해하는 것은 필수적입니다. 본 논문에서는 Baidu Search에 배포된 프로덕션 시스템인 QDET (Query-Driven Event Timeline Summarization, 쿼리 주도형 이벤트 타임라인 요약)을 소개합니다. QDET는 특정 쿼리 이벤트를 설명하기 위해 집중된 이벤트 타임라인을 구축합니다. 포괄적인 범위를 목표로 하는 전통적인 토픽 중심 (topic-centric) 접근 방식과 달리, QDET는 매일 검색되는 수백만 개의 문서로 형성된 노이즈가 많은 후보 세트로부터 쿼리와 밀접하게 관련된 하위 이벤트 (sub-events)를 식별하고 조직합니다. QDET는 두 가지 핵심 혁신을 포함합니다: (1) 시간적 순서 정렬 (temporal ordering), 인과 관계 판단 (causal judgment), 타임라인 완성 (timeline completion)이라는 세 가지 보조 작업을 포함하는 멀티태스크 지도 미세 조정 (multi-task supervised fine-tuning)으로, 이를 통해 소형 모델이 전문 영역에서 훨씬 더 큰 범용 모델의 성능을 따라잡을 수 있게 합니다. (2) 엄격한 길이 제약을 준수하면서도 의미적 품질을 유지하는 강화학습 (reinforcement learning) 기반의 이벤트 간결 요약으로, 88.2%의 길이 준수율을 달성하였으며 제약 조건 만족도 측면에서 671B 규모의 모델보다 7.7포인트 높은 성능을 보였습니다. 미세 조정된 당사의 7B 파라미터 모델은 타임라인 요약에서 76.2%의 F1 스코어를 달성하였으며, 이는 DeepSeek-R1-671B의 제로샷 (zero-shot) 성능 (76.1% F1)을 단 1%의 파라미터만을 사용하여 약간 상회하는 수치입니다. 이는 도메인 특화 최적화가 계산 비용을 획기적으로 줄이면서도 대등한 품질을 가진 프로덕션급 모델을 가능하게 함을 입증합니다. Baidu Search에서의 온라인 A/B 테스트를 통해 실제 효과를 검증한 결과, 단일 작업 베이스라인 (single-task baselines) 대비 CTR 5.5% 향상, 체류 시간 (dwell time) 4.6% 증가, 탐색 깊이 (exploration) 4.4% 증가를 보여주었습니다. 나아가 타임라인 이해가 열기 예측 (heat prediction)으로 전이됨을 보여줌으로써, 다운스트림 작업 (downstream tasks)으로의 효과적인 지식 전이를 확인하였습니다.