앞 페이지가 아닌 롱테일: 대중의 하이라이트 중요도에 대한 콜드 스타트(Cold-Start) 예측

소셜 하이라이터(social highlighter)의 가장 유용한 신호, 즉 독자 집단이 어떤 구절에 표시를 남기는지는 사람들이 이미 읽은 문서에 대해서만 존재합니다. 문서에 표시가 쌓이기 전, 텍스트만으로 해당 문서의 집단적 중요도(aggregate crowd salience)를 예측할 수 있을까요? 이 데이터에 대한 이전 연구에서는 제로샷 언어 모델(zero-shot language models)이 단순한 도입부(position) 베이스라인보다 하이라이트 위치를 더 못 찾아낸다는 것을 발견했습니다. 이에 따라 우리는 하이라이트 코퍼스(highlight corpus)로 학습된 모델이 해당 베이스라인을 능가할 수 있는지 질문을 던집니다. 사전 등록된 모델 계층(ladder of models)과 문서별 클러스터 부트스트랩(by-document cluster bootstrap)을 사용하여 분석한 결과, 작지만 견고한 우위를 발견했습니다. 문장 임베딩(sentence embeddings)과 위치/문맥적 특징(positional/contextual features)을 활용한 로지스틱 랭커(logistic ranker)는 평균 정밀도(average precision) 측면에서 도입부 베이스라인보다 +0.044만큼 앞섰습니다 (95% 신뢰 구간(CI) [+0.029, +0.058]; 재표본 추출의 97%에서 사전 등록된 마진 델타(margin delta)=0.03를 상회하며, 파이프라인 재실행 시에도 안정적임). 두 가지 비지도 추출형(unsupervised extractive) 베이스라인(센트로이드(centroid), LexRank 방식의 중심성(centrality))은 도입부 베이스라인보다 성능이 낮았으며, 학습된 모델은 이들보다 +0.108 더 높은 성능을 보였습니다. 따라서 이 우위는 일반적인 비지도 대리 모델(unsupervised proxies)에 의해 회복되는 것이 아니라, 실제 독자의 표시로부터 학습된 결과임을 반영합니다. 제품 관점에서는 precision@3가 0.25에서 0.39로 상승하며(+55% 상대적 증가), 모델은 문서의 69%에서 도입부 베이스라인을 능가합니다. 절제 연구(ablation) 결과, 이 우위는 원시 임베딩(raw embedding, +0.014)과 학습 증강(training augmentation, +0.010)에 기인하며, 각각 양수의 신뢰 구간(CI)을 가집니다. 이 우위는 시간적 일반화(temporal-generalization)의 실패가 아니며, 콘텐츠 드리프트(content drift)나 유사 중복 누출(near-duplicate leakage)이 이를 설명한다는 증거도 발견되지 않았습니다. 표준 회귀 분석(standardized regression)에 따르면, 이러한 이점은 주로 문서의 인기(인기가 낮을수록 우위가 커짐)와 레이블 신뢰도(label reliability)에 의해 결정됩니다. 이 이점은 가장 인기 있는 콘텐츠에서만 거의 사라지는데, 이는 모델이 약해지는 것이 아니라 도입부 베이스라인이 강화되기 때문입니다. 우리의 평가는 결과적으로 독자가 쌓인 문서들을 조건으로 하므로, 이 결과는 사후적인 콜드 스타트 시뮬레이션(retrospective cold-start simulation)입니다.