TailorMind: 선호도 정렬된 멀티모달 콘텐츠 생성을 향하여

개인화된 콘텐츠 시스템은 가용한 UGC(User-Generated Content, 사용자 생성 콘텐츠)에 의존하며, 적절한 콘텐츠가 부재하거나, 지연되거나, 생성 비용이 높을 때 어려움을 겪습니다. 멀티모달 생성기(Multimodal generators)가 요구에 따라 콘텐츠를 합성할 수 있음에도 불구하고, 행동 흔적(behavioral traces)을 생성 준비가 된 선호도(preferences)로 어떻게 변환할 것인지는 여전히 미개척 분야로 남아 있습니다. 본 연구에서는 개인화된 멀티모달 콘텐츠 생성, 즉 기존의 아이템 풀(item pools)이 없거나 일치하는 UGC를 기다릴 필요 없이 사용자 맞춤형 멀티모달 콘텐츠를 생성하는 문제를 연구합니다. 우리는 협업 선호도 모델링(collaborative preference modeling)과 제어 가능한 멀티모달 생성(controllable multimodal generation)을 결합한 TailorMind를 제안합니다. TailorMind는 하이퍼그래프 협업 필터링(hypergraph collaborative filtering)을 통해 희소한 사용자 이력(user histories)을 풍부하게 만들고, 랭킹 오차 피드백(ranking-error feedback)과 텍스트 경사 하강법(textual gradient descent)을 통해 텍스트 프로필(textual profiles)을 최적화합니다. 검색 증강 스타일 제어(Retrieval-augmented style control)는 출력을 실제 UGC 패턴에 기반하게 하며, 교차 모달 응집성 반영(cross-modal cohesion reflection)은 의미론적 표류(semantic drift)를 줄입니다. 우리는 세 가지 주요 플랫폼으로부터 구축된 TailorBench 벤치마크를 구성하였으며, 이를 일관성(coherence), 참신성(novelty), 미적 가치(aesthetic), 환각(hallucination), 프로파일링(profiling)의 다섯 가지 차원에서 평가했습니다. 실험 결과, TailorMind는 경쟁력 있거나 더 강력한 일관성을 달성하였으며, 대표적인 생성 베이스라인 및 실제 UGC(ground-truth UGC) 대비 참신성과 미적 품질을 향상시켰습니다. 이는 가용한 콘텐츠를 검색하거나 유사한 UGC를 사용하는 것보다 우수함을 입증하며, 재순위화(reranking)에서 최대 29%의 재현율(Recall) 이득을 달성했습니다. 우리의 코드는 다음 주소에 공개되어 있습니다: https://github.com/iLearn-Lab/TailorMind.