협업 필터링 추천 시스템: UserCF와 ItemCF의 완벽 비교

요약: 협업 필터링은 콘텐츠 이해 대신 행동적 유사성을 활용합니다. UserCF는 사용자에게 '비슷한 사용자들이 좋아했던 것'을 추천하여 다양한 콘텐츠 발견 및 트렌드 시나리오에 적합하며, ItemCF는 사용자 행동 기반으로 '사용자가 상호작용한 항목과 비슷한 것'을 추천하여 안정적인 카탈로그를 가진 이커머스 및 장바구니 추천에 적합합니다. 두 방식 모두 공기 발생 통계(co-occurrence statistics)를 구현의 기초로 공유하며, 행렬 계산과 주기적 업데이트에 의존하고, 콘텐츠 벡터와 결합하여 격차를 메울 수 있습니다.

협업 필터링(CF)은 추천 시스템에서 가장 고전적인 알고리즘 계열이며 오늘날에도 가장 널리 사용되는 것 중 하나입니다. 이는 항목의 콘텐츠 이해가 필요 없이 오직 '누가 무엇을 구매했고, 누가 무엇을 조회했는지' 기록만으로 누구에게 무엇을 추천할지 계산합니다. 두 가지 주요 분기점인 사용자 기반 UserCF와 항목 기반 ItemCF는 종종 혼동되지만, 데이터 요구 사항, 업데이트 주기, 적용 가능한 시나리오가 크게 다릅니다. 본 문서는 기본 원리부터 시작하여 두 분기를 5가지 차원으로 비교하고, 나아가 엔지니어링 구현 세부 사항과 결합 접근 방식을 제시하여 실제 비즈니스에서 올바른 선택을 할 수 있도록 돕습니다.

핵심 요약

• 협업 필터링의 핵심 가정: 유사한 과거 행동을 보인 사용자는 미래에도 유사한 선호도를 가질 것이며; 행동에서 함께 발생하는 아이템들은 서로 유사하다.
• UserCF는 '유사한 사용자 찾기 → 그들의 선호도 활용하기'이며, ItemCF는 '사용자가 상호작용한 아이템들을 살펴보기 → 유사한 아이템 추천하기'이다.
• UserCF는 다양한 사용자 관심사와 강력한 콘텐츠 적시성이 필요한 시나리오에 적합하며; ItemCF는 안정적인 아이템 관계와 설명 가능성(explainability)이 필요한 이커머스에 적합하다.
• 데이터 초점, 실시간 성능, 설명 가능성, 콜드 스타트 행동, 안정성의 5가지 차원 비교를 통해 두 방식 모두 장점을 가지고 있다.
• 엔지니어링 기반은 동일하다: 사용자-아이템 상호작용 행렬 + 유사도 행렬 + 주기적인 오프라인 업데이트; 대규모에서는 근사 최근접 이웃(Approximate Nearest Neighbor, ANN) 검색을 도입한다.
• CF는 새로운 사용자나 새로운 아이템에 둔감한 구조적 약점을 가지므로, 콘텐츠 벡터 검색과 결합하는 것이 일반적인 공백 메우기 접근 방식이다.

1. 협업 필터링의 기본 아이디어

협업 필터링은 '아이템을 알지 못해도 추천할 수 있는가?'라는 단순한 질문에 답한다. 그 대답은 '그렇다'—'아이템 이해하기'를 '행동 관찰하기'로 대체하면 된다. 만약 사용자 A와 사용자 B의 기록이 매우 많이 겹친다면, A가 좋아하는 것을 B도 좋아할 가능성이 높고 (이것이 UserCF이다); 대부분의 사용자가 아이템 X를 구매했을 때 아이템 Y도 함께 구매했다면, X를 본 사용자는 Y를 볼 기회가 주어져야 한다 (이것이 ItemCF이다).

이러한 가정의 힘은 콘텐츠 이해 비용이 0이라는 데 있다: 아이템에 태그를 붙일 필요도 없고, 의미론적 모델(semantic model)도 필요 없다—사용자-아이템 상호작용 테이블만으로 시작할 수 있다. 하지만 그 비용 또한 여기서 발생한다—알고리즘은 '무엇과 무엇이 함께 소비되었는지'만 알 뿐, 왜 그런지는 모르기 때문에 (콜드 스타트 문제) 완전히 새로운 사용자나 아이템에 둔감하며, 희소한 긴 꼬리(long-tail) 행동에도 어려움을 겪는다.

이 레이어에 대해 이해했다면, 두 분기(branch)의 차이는 설명하기 쉽습니다. 사실 이들은 동일한 상호작용 행렬을 바라보는 두 가지 시점일 뿐입니다—행(row) 방향(사용자 유사성)으로 보거나 열(column) 방향(아이템 유사성)으로 보는 것입니다.

2. UserCF: 유사 사용자 찾기

추천 체인: 사용자 간의 유사성을 계산 → 대상 사용자와 가장 유사한 K명의 사용자를 찾음 → 이 K명의 사용자가 좋아하지만 대상 사용자는 아직 보지 못한 아이템들을 순위화하여 추천합니다.

유사성 계산 방법: 두 사용자의 행동 집합이 많이 겹칠수록 더 유사하다고 간주하며, Jaccard 또는 코사인 유사성이 흔히 사용됩니다. 인기 상품에 가중치를 낮추는(down-weighting) 것이 필수적인 세부 사항입니다—두 사용자가 모두 휴지를 구매했다고 해서 유사성을 증명하는 것은 아니지만, 두 사용자 모두 틈새 전문 장비를 구매했다면 그렇습니다.

적용 시나리오: 다양한 사용자 관심사를 가진 콘텐츠 플랫폼(뉴스, 비디오)—유사한 사용자는 자연스럽게 탐색적인

적용 가능한 시나리오: 상대적으로 안정적인 아이템 세트와 아이템 수보다 훨씬 많은 사용자 수를 가진 이커머스 환경—아이템 유사성 행렬(item-similarity matrix)이 작고 안정적이어서 오프라인으로 계산하고 온라인에서 밀리초 단위로 조회할 수 있습니다. 또한 설명 가능성이 필요한 시나리오: "X를 구매했기 때문에"라는 이유는 사용자가 즉시 이해할 수 있고 운영팀이 쉽게 감사(audit)할 수 있습니다.

약점: 새로운 아이템은 동시 발생 데이터가 없어 후보군에 포함될 수 없습니다. 아이템이 폭발적으로 증가하는 경우(예: UGC 콘텐츠 플랫폼), 행렬 업데이트 압력이 높습니다.

4. 5차원 비교

빠른 선택: 시의성이 강하고 사용자의 관심사가 분산된 콘텐츠는 UserCF에 기울고; 설명 가능성과 장바구니 논리를 중시하는 안정적인 카탈로그는 ItemCF에 기울습니다. 대부분의 이커머스는 ItemCF를 우선적으로 채택합니다—행렬이 작고 유지보수가 쉬우며, 자연스러운 설명이 가능하고, 장바구니 추천은 거의 본연의 영역이기 때문입니다.

5. 엔지니어링 구현 포인트

두 브랜치 모두의 구현 기반은 동일합니다: 상호작용 행렬(interaction matrix) → 유사성 행렬(similarity matrix) → 후보 생성(candidate generation) → 순위 지정 출력(ranking output). 엔지니어링 관점에서는 네 가지 포인트를 중점적으로 다룹니다.

동시 발생 통계의 정교함: 가중치 상호작용 단계(조회 = 1점, 장바구니 담기 = 3점, 구매 = 5점)가 동일한 가중치보다 우수합니다. 시간 감쇠(time decay)를 적용하면 최근 행동에 더 큰 가중치를 부여하여, 1년 전의 행동을 어제와 동등하게 취급하는 것을 방지할 수 있습니다.

유사성 계산에서의 가중치 감소 및 절단: 인기 아이템에 대한 가중치 감소(IUF 또는 로그 스무딩)는 가장 큰 효과를 발휘하는 단일 세부 사항입니다. 전체 행렬의 비대화를 피하기 위해 유사성 행렬을 Top-K로 절단하여 저장해야 합니다.

계층적 업데이트 빈도(Tiered update frequency). ItemCF의 아이템 유사도는 일별 또는 주 단위로 오프라인에서 업데이트할 수 있습니다. 반면, UserCF가 사용자 관심사 시나리오에서 '트렌드 추격'을 요구하는 경우, 적시성을 보완하기 위해 근접 온라인 계산(near-line computation)이 필요합니다. Netflix의 추천 아키텍처 구현 사례는 오프라인, 근접 온라인, 온라인 컴퓨팅 모드의 조합을 핵심 과제로 다룹니다. 오프라인은 강력한 연산 능력을 가지지만 결과가 오래되었고, 온라인은 실시간이지만 복잡도에 제한적입니다. 이러한 역할 분담이 CF 엔지니어링의 핵심 설계 원칙입니다.

대규모 검색(Large-scale retrieval). 아이템이나 사용자가 수천만 단위 규모에 도달하면, 유사도 검색 방식은 '테이블 조회(table lookup)'에서 '최근접 이웃 검색(nearest neighbor search)'으로 전환되며, 이를 위해서는 근사 최근접 이웃(ANN) 구조가 필요합니다. Meta의 오픈소스 FAISS는 대규모 밀집 벡터(dense vectors)에 대한 클러스터링 및 ANN 검색 기능을 제공하며, 이는 동시 발생 유사도를 벡터 표현으로 변환한 후에도 빠른 검색에 동일하게 적용될 수 있습니다.

6. 콘텐츠 벡터와의 결합 (Blending with Content Vectors)

CF의 구조적 약점—새로운 사용자나 새로운 아이템을 인식하지 못하는 것(blindness)—은 바로 콘텐츠 벡터 리콜의 강점이 됩니다. 아이템의 콘텐츠 의미론적 벡터는 행동에 의존하지 않으므로 선반에서 검색될 수 있으며, 사용자가 등록 시 선택한 관심사 태그 역시 즉시 적용됩니다.

일반적인 결합 접근 방식은 다중 채널 리콜을 병렬로 수행하는 것입니다. CF 채널(행동적 동시 발생 신호) + 콘텐츠 벡터 채널(의미론적 유사성) + 인기 규칙 채널(폴백, fallback)이 각각 후보군을 생성하고, 이들이 랭킹 계층에서 균일하게 점수화됩니다. Elasticsearch의 벡터 검색 기능은 콘텐츠를 벡터화하여 유사도별로 리콜하는 것을 지원하며, 동시 발생 리콜과 병렬로 배포될 수 있습니다.

• 인기 품목의 다운웨이팅 부재: 유사도가 베스트셀러에 의해 독점되어 모든 사용자가 수렴하는 추천을 보게 되며, 협업 필터링(CF)은 단순히 인기 순위 차트로 퇴화합니다.
• 상호작용 균등 가중치 부여: 조회수와 구매가 동일하게 가중치를 가지면서 신호가 노이즈에 의해 희석되고, 효과의 한계는 데이터 품질에 의해 제한됩니다.
• 모델 구축은 하되 설명(Explanation)을 제공하지 않기: ItemCF의 설명 가능성(explainability)은 자연적인 자산입니다. "X를 구매했기 때문에"와 같이 직접 보여주는 것이 일반적으로 설명되지 않은 추천보다 클릭률(click-through)이 높습니다.
• 콜드 스타트 상황에 CF 활용하기: 신규 사용자 및 신규 품목은 CF의 구조적 사각지대입니다. 이를 강제하는 것은 병렬로 콘텐츠 벡터 채널을 운영하는 것보다 못한 결과를 초래합니다.

FAQ

Q: 실제로 UserCF와 ItemCF 중 무엇을 선택해야 하나요?

A: 비즈니스 형태에 따라 판단하세요. 사용자의 관심사가 다양하고 시간 민감성이 높은 콘텐츠 플랫폼(뉴스, 비디오)에는 UserCF를, 설명 가능성과 바스켓 로직이 필요한 안정적인 제품 관계의 이커머스에는 ItemCF를 선택합니다. 공학적 기준을 추가하자면: 사용자 수가 품목 수를 훨씬 초과할 경우, ItemCF의 행렬이 더 작고 유지 관리가 쉬우므로 ItemCF를 우선 고려하고, 그렇지 않은 경우에만 UserCF를 고려하세요.

Q: 콜라보레이티브 필터링(CF)을 시작하기 전에 어느 정도 상호작용 데이터가 축적되어야 하나요?

A: 경험적 임계점은 핵심 사용자들이 충분한 행동 밀도(behavior density)를 갖추는 것입니다. 대부분의 비즈니스는 활성 데이터를 몇 주에서 두 달 동안 운영한 후, 간소화된 ItemCF(공동 발생 Top-K)를 먼저 실행할 수 있습니다. 초기에는 구매와 장바구니 담기라는 두 가지 고가치 행동을 사용하고, 데이터 볼륨이 커지면서 노이즈에 신호가 묻히는 것을 방지하기 위해 조회수 행동은 단계적 가중치(tiered weighting)를 부여하여 추가하세요.

Q: 인기 품목의 다운웨이팅(down-weighting)이 필수인가요?

A: 예. 다운웨이팅을 하지 않으면, 어떤 품목의 "가장 유사한 품목"은 거의 베스트셀러로 점유되어 추천이 동일해지고 CF의 개인화 이점(personalization advantage)이 완전히 사라집니다. 일반적인 관행은 사용자 활동이나 품목 인기도에 따른 공동 소비 횟수에 로그 스무딩(log smoothing) 또는 IUF 가중치(IUF weighting)를 적용하는 것입니다. 이는 가장 높은 효과를 볼 수 있는 구현 세부 사항입니다.

질문: ItemCF의 유사성 행렬은 얼마나 자주 업데이트해야 하나요?

답변: 아이템 세트의 안정성에 따라 달라집니다. 카탈로그가 안정적인 이커머스의 경우 일별 또는 주간 단위로 업데이트하며, 프로모션 기간처럼 신규 아이템이 집중되는 시기에는 더 자주 업데이트해야 합니다. 콘텐츠 플랫폼(비디오, 기사 등)은 더 빈번하게 업데이트됩니다. 엔지니어링 관점에서는 안정성과 적시성을 균형 있게 맞추기 위해 오프라인 전체 업데이트와 근접 온라인 증분 업데이트를 결합하는 것이 좋습니다.

질문: 협업 필터링(CF) 결과를 A/B 검증할 수 있나요?

답변: 네, 그리고 그렇게 해야 합니다. CF를 출시한 후에는 규칙 기반 기준선(best-seller chart 등)과 비교하여 테스트하고, 추천 클릭률, 장바구니 추가율, 전환율의 증가분을 확인해야 합니다. 또한 "좋은 지표를 기록하지만 트래픽이 베스트셀러에만 집중되는" 현상의 저하를 막기 위해 다양성(diversity)과 롱테일 커버리지(long-tail coverage)도 모니터링해야 합니다. 통제 그룹 없이 CF를 출시하면 시장 변동성에 의해 얻은 성과가 가려져 설명할 수 없게 됩니다.

질문: CF가 콘텐츠 벡터의 대체재인가요?

답변: 아닙니다, 상호보완적입니다. CF는 행동상의 동시 발생 신호("당신과 비슷한 사람들이 이것을 구매합니다")를 포착하고, 벡터는 콘텐츠 의미론("이것은 당신이 본 것과 비슷합니다")을 포착합니다. CF가 취약한 신규 아이템에 대한 사각지대는 벡터가 채우고, 벡터의 인기(popularity) 사각지대는 CF와 인기 규칙이 보완합니다. 두 가지를 결합하는 표준 형태는 통합된 랭킹 레이어 스코어링을 통한 다중 채널 병렬 리콜입니다.

Tengence 소개

Tengence Search는 여기에 설명된 추천-검색 시나리오를 목표로 하며, 동시 발생 신호와 콘텐츠 벡터의 병렬 다중 채널 리콜을 제공하고, 시나리오별 설정이 가능한 랭킹 목표 및 설명 문구를 지원합니다. Tengence는 AI 시대의 엔터프라이즈 성장 엔진으로, 공공 트래픽 확보와 사설 도메인 전환에 중점을 두고 있습니다. 핵심 제품은 Tengence GEO (듀얼 엔진 GEO + SEO)와 Tengence Search입니다.

관련 자료