요약: 저빈도, 적은 샘플, 높은 의사결정 비용을 가진 B2B 추천 시나리오에서 규칙, 시의성, 비즈니스 단계 및 피드백 신호를 어떻게 조합하여 설명 가능한 순위(Ranking) 시스템을 구축할 것인지 논의합니다.

키워드: 추천 시스템 (Recommendation System), B2B 추천, 설명 가능한 순위 (Explainable Ranking), Learning to Rank, 비즈니스 기회 추천, 콜드 스타트 (Cold Start)

추천 시스템의 전형적인 사례는 대부분 숏폼 영상, 이커머스, 음악에서 비롯됩니다. 사용자 행동이 밀집되어 있고 피드백 속도가 빨라, 모델이 방대한 클릭 데이터로부터 끊임없이 학습할 수 있습니다. 하지만 많은 B2B 시나리오는 정반대입니다.

한 번의 프로젝트 의사결정은 수 주 동안 지속될 수 있으며, 실제 양성 샘플(Positive Sample)은 매우 적습니다. 사용자가 클릭하지 않는다고 해서 관심이 없다는 뜻은 아니며, 단지 아직 처리하지 않았을 수도 있습니다. 잘못된 추천 하나는 단 몇 초를 낭비하는 것에 그치지 않고, 영업, 프리세일즈(Pre-sales) 및 관리자의 수 시간을 점유할 수 있습니다.

이러한 저빈도, 고비용 시나리오에서는 처음부터 복잡한 모델을 추구하는 것이 대개 최고의 투자 대비 효과(ROI)를 가져다주지 않습니다. 더 신뢰할 수 있는 순서는 다음과 같습니다: 먼저 설명 가능한 후보군(Candidate Set)과 순위 베이스라인(Baseline)을 구축한 다음, 단계적으로 행동 학습(Behavior Learning)을 도입하는 것입니다.

그림 1: 추천 결과가 일치도, 타겟 방향 및 단계 힌트를 동시에 보여줍니다. Biaomaiyun의 실제 비즈니스 인터페이스 스크린샷.

먼저 "추천할 가치"를 정의한 후, 점수를 정의하라

추천 시스템은 종종 "어떤 특징(Feature)이 있는가"에 대한 논의로 시작되지만, 저빈도 B2B 제품은 먼저 다음과 같은 질문에 답해야 합니다: 어떤 프로젝트가 사용자가 시간을 들여 검토할 가치가 있는가?

상대적으로 완전한 정의는 보통 네 가지 유형의 조건을 포함합니다:

• 비즈니스 관련성: 제품, 서비스, 산업 또는 구매 주체가 기업의 역량과 관련이 있음;
• 시간적 유효성: 프로젝트가 여전히 조치를 취할 수 있는 단계에 있음;
• 인도 가능성: 지역, 규모, 자격 및 주기에 명확한 충돌이 없음;
• 정보 충분성: 최소한 기초적인 판단을 뒷받침할 수 있는 본문이나 첨부 파일을 찾을 수 있음.

이 네 가지 조건 중 일부는 하드 필터링(Hard Filtering)에 적합하고, 일부는 순위 산정에 참여하기에 적합합니다. 예를 들어, 이미 만료되어 복구가 불가능한 프로젝트는 직접 필터링할 수 있습니다. 반면 지역 선호도는 기업이 지역을 넘어선 기회를 수용할 수 있으므로 가감점 항목으로 사용하는 것이 더 적합합니다.

설명 가능한 순위 베이스라인

데이터 양이 제한적일 때는 선형 점수(Linear Scoring)를 사용하여 베이스라인을 구축할 수 있습니다:

score = relevance
      + freshness
      + stage_value
...

여기서 핵심은 공식 자체가 아니라, 각 항목이 사용자에게 설명될 수 있어야 한다는 점입니다.

예를 들어, "소프트웨어 개발 방향과 일치함", "현재 구매 단계임", "결과 공고로 인해 우선순위가 낮아짐" 등은 모두 읽을 수 있는 설명에 해당합니다. 사용자는 이를 바탕으로 순위가 자신의 비즈니스 로직에 부합하는지 판단할 수 있으며, 제품 팀은 추천 편향(Bias)이 검색(Retrieval), 데이터 또는 가중치 중 어디에서 발생하는지 더 빠르게 파악할 수 있습니다.

비즈니스 단계는 단순한 태그가 아니다

프로젝트형 비즈니스에서는 문서의 단계가 행동 가치에 직접적인 영향을 미칩니다. 구매 의향은 미리 관심을 갖기에 적합하고, 구매 공고는 참여 여부를 평가하기에 적합하며, 정정 공고는 원래 계획이 변경되었는지 확인해야 하고, 결과 및 계약 공고는 고객 연구나 경쟁 분석을 하기에 더 적합합니다.

따라서 동일한 키워드가 검색되더라도 단계에 따라 점수가 달라져야 합니다. 더 중요한 것은 단계별 가중치가 사용자의 목표에 따라 변해야 한다는 점입니다. 영업 담당자는 곧 시작될 프로젝트에 집중하고, 시장 조사 담당자는 결과와 과거 계약을 더 중요하게 여길 수 있습니다.

간결한 방법 중 하나는 모든 역할에 만족시키기 위해 하나의 전역 점수(Global Score)를 사용하려 하기보다, 사용자가 먼저 작업 모드를 선택하게 한 뒤 그에 맞는 재순위화(Re-ranking) 전략을 적용하는 것입니다.

콜드 스타트 시에는 사용자 프로필보다 기업 프로필이 더 중요하다

개인 대상 제품은 보통 개인의 행동으로부터 선호도를 학습하지만, B2B 도구의 첫 버전은 기업 프로필(Enterprise Profile)에서 시작하는 것이 더 적합합니다: 핵심 역량, 서비스 지역, 전형적인 프로젝트, 제외 방향 및 필수 자격 등입니다.

기업 프로필의 장점은 팀이 명확하게 확인할 수 있어 방대한 행동 데이터를 기다릴 필요가 없다는 것입니다. 하지만 명확한 리스크도 있습니다: 자료가 만료될 수 있고, 내부 표현이 시장 용어와 다를 수 있으며, 역량의 경계가 너무 광범위하게 작성될 수도 있습니다.

따라서 프로필 필드에는 업데이트 시간, 책임자 및 출처가 포함되어야 합니다. 추천 사유는 단순히 설명할 수 없는 백분율을 보여주는 대신, 구체적인 프로필 필드를 인용하는 것이 가장 좋습니다.

부정 피드백은 클릭보다 더 구체적이어야 한다

저빈도 시나리오에서 단순히 "클릭/미클릭"을 기록하는 것만으로는 거의 충분하지 않습니다. 더 가치 있는 피드백은 사용자가 왜 포기했는가에 대한 이유입니다:

• 비즈니스 불일치;
• 지역적 인도 불가;
• 자격 미달;
• 시간 부족;
• 프로젝트 규모 부적합;
• 이미 다른 팀에서 처리 중;
• 정보 부족으로 판단 보류.

이러한 원인들은 규칙, 프로필 및 학습 데이터로 직접 환류(Feedback)될 수 있습니다. 특히 "정보 부족"과 "명확한 무관함"을 반드시 구분해야 합니다. 그렇지 않으면 시스템이 데이터 품질 문제를 사용자의 선호도로 잘못 학습할 수 있습니다.

추천 지표는 비즈니스 액션에 밀착되어야 한다

저빈도 B2B 시나리오에서 CTR(클릭률)은 오해를 불러일으키기 쉽습니다. 더 적절한 지표는 다음과 같습니다:

• 추천 결과가 수동 검토 단계로 진입하는 비율;
• 저장되거나 담당자로 할당되는 비율;
• 명확한 피드백 사유의 커버리지(Coverage);
• 추천부터 첫 처리까지 걸리는 시간;
• 추천 프로젝트가 최종적으로 유효한 후속 조치(Follow-up)로 이어지는 비율;
• 가중치가 낮아진 프로젝트임에도 사용자가 다시 확인하는 비율.

동시에 추천량(Recommendation volume)도 관찰해야 합니다. 만약 하루에 수십 개의 "높은 관련성" 결과를 푸시했음에도 불구하고 사용자가 여전히 검색 과정을 처음부터 다시 반복해야 한다면, 추천 시스템이 판단 비용(Judgment cost)을 진정으로 낮추었다고 볼 수 없습니다.

언제 더 복잡한 모델을 도입해야 하는가

시스템이 안정적인 후보 생성(Candidate generation) 로직, 명확한 피드백 원인, 그리고 충분한 팀 행동 데이터를 축적한 후에 Learning to Rank (LTR), 의미론적 매칭(Semantic matching), 또는 다중 목표 최적화(Multi-objective optimization)를 고려하는 것이 더 적절합니다.

모델을 배포한 후에도 기존의 설명 계층(Explanation layer)을 삭제해서는 안 됩니다. 모델은 순위 매기기(Ranking)를 담당하게 하고, 규칙(Rule)은 하드 제약 조건(Hard constraints)과 안전 경계(Safety boundary)를 담당하게 하며, 핵심 특징 기여도(Feature contribution)나 비즈니스 근거를 유지하도록 할 수 있습니다. 사용자에게는 "모델이 얼마나 진보했는가"보다 "왜 이것이 여기에 배치되었는가"가 종종 더 중요합니다.

결론

저빈도 B2B 추천 시스템의 핵심은 더 많은 클릭을 만들어내는 것이 아니라, 사용자가 처리할 가치가 없는 프로젝트를 더 빨리 배제하도록 도와, 한정된 시간을 진정으로 판단이 필요한 기회에 집중할 수 있도록 하는 것입니다.

먼저 설명 가능한 순위 베이스라인(Baseline)을 구축하고, 단계별 가치와 부정 피드백(Negative feedback)을 명확히 한 다음, 모델을 통해 최적화하는 것이 더 견고한 진화 경로입니다. 복잡성은 상상력에 따라 증가하는 것이 아니라, 증거의 증가에 따라 늘어나야 합니다.