Pinterest, 사용자 활동에서 장기 목표를 추론하는 LLM 구축

Pinterest가 검색과 저장 기록을 읽고
‘주방 리모델링’이나 ‘사워도우 배우기’처럼 사용자가 이루려는 목표를 추론해 추천과 알림에 활용
키워드를 추출하고 묶어 이름을 붙이던 다단계 처리 대신,
미세 조정한 40억 파라미터 LLM 하나가 활동 기록에서 목표 목록과 우선순위를 직접 생성하는 방식으로 전환
대형 모델이 만든 학습 데이터를
Qwen3 4B에 학습시켜 비용을 줄이고, 따로 분리되던 관심사를 하나의 목표로 묶거나 사용자 언어로 구체적인 이름을 생성
L40S GPU 약 100개로 초당 약 775건을 처리하며, 목표가 자주 바뀌지 않는 특성을 활용해 최근 며칠 내 분석한 사용자는 건너뛰어 처리 부담을 절감
미국과 캐나다 실험에서 기존 클러스터링 방식보다
이메일 클릭률 1.1%, 푸시 열람률 1.3% 상승했으며, 실제 사용자 피드백을 반영하는 추가 학습은 실험 중

개별 관심사가 아닌 장기 목표를 추천에 활용

Pinterest의
여정(journey) 은 사용자가 특정 목표를 이루기 위해 여러 차례 방문하며 검색하고 저장하는 일련의 활동을 뜻함
‘여름 드레스’는 관심사지만, ‘8월에 참석할 여름 결혼식에 입을 옷 알아보기’는 여정에 해당
주방 리모델링, 채소 정원 가꾸기, 사워도우 배우기처럼 여러 여정이 동시에 존재하며 생활 변화에 따라 달라짐
다음에 클릭할 콘텐츠나 ‘홈 데코’ 같은 넓은 관심사만으로는
수주에서 수개월에 걸친 목표를 파악하기 어려움
수납장 이미지 클릭, 주방 벽면 검색, 정원 화단 저장이 하나의 프로젝트인지, 별개 프로젝트인지, 일시적인 관심인지 구별할 필요
이 판단에 따라 추천할 콘텐츠와 알림 문구, 알림을 보내지 않을 시점도 달라짐
원하는 결과는 분류표의 항목이 아니라,
사용자가 자신의 목표로 알아볼 수 있는 구체적인 이름과 우선순위
사용자 활동이 시간순으로 쌓이는 전자상거래, 스트리밍, 검색 서비스에서도 같은 방식으로 활동 기록에서 의도를 추론할 수 있음

초기 클러스터링 시스템의 성과와 한계

초기 사용자 여정 시스템은 정답이 붙은 데이터가 거의 없어, 사전 학습된 텍스트 임베딩과 사람이 만든 수백 개의 예시로 시작
검색어, 사용자가 반응한 Pin의 설명 태그와 관심사, 보드에 모은 Pin에서 키워드 추출
키워드를 벡터로 변환하고 비슷한 것끼리 단계적으로 묶어 여정 후보 생성
묶음 안에서 가장 중요한 키워드를 골라 여정 이름으로 사용
후보별 점수로 순위를 매기고, 비슷한 후보에는 감점을 줘 상위 목록의 중복 축소
활동이 수주 이상 지속되는지에 따라 지속적인 관심과 일시적인 목표를 구분하고, 마지막 활동 이후 경과 시간으로 진행 또는 종료 여부 판단
이 시스템을 적용한 알림은 기존 관심사 기반 알림보다
이메일 클릭률 88%, 푸시 열람률 32% 높았고, 설문의 긍정 응답도 23% 증가
다만 단계별 오류가 쌓이면서
하나의 목표가 여러 항목으로 쪼개지는 문제가 발생
목표 분리: 하나의 주방 리모델링에 속하는 수납장, 조리대, 벽면 마감을 각각 다른 여정으로 처리
막연한 이름: 여러 주제가 섞이면 빈도가 높은 ‘Art’, ‘Recetas’, ‘Shopping’ 같은 이름을 선택해 개인화에 도움이 되지 않음
일시적으로 본 밈이나 유명인 콘텐츠가 중요한 목표처럼 상위에 오르는 문제도 발생
현재 운영 시스템은
LLM이 한 번에 여정 목록을 생성하는 방식을 우선 사용하며, 클러스터링은 필요할 때 대신 사용하는 방식으로 유지

활동 기록에서 여정 목록을 직접 생성

모델은
자주 바뀌지 않는 프로필 정보, 사용자의 보드, 시간순 활동 기록을 하나의 프롬프트로 받아 우선순위가 있는 여정 목록을 JSON으로 반환
프로필에는 성별, 언어, 국가, 연령대 등이 포함
수납장 검색과 벽면 타일, 조리대 저장을 종합해 ‘Modern Farmhouse Kitchen’을 생성하고, 다른 활동에서는 ‘Raised Bed Vegetable Garden’, ‘Sourdough Bread Making’, ‘Cast Iron Recipes’ 등을 도출
별도의 키워드 추출, 임베딩, 클러스터링, 이름 선정 단계를 거치지 않고
모델 하나가 활동 기록을 읽어 목표를 추론
입력 행동은
search

, save

, like

, click

, comment

, dislike

로 단순화하고, 중요도를 search/save > comment > like > click > dislike

순서로 명시

다시 Pin하기와 기기에 저장하기는 세부 행동을 구분하기보다 모두 강한 긍정 신호로 취급
같은 날짜와 행동의 이벤트를 묶고, Pin 사이는 세미콜론, Pin 내부 태그 사이는 쉼표로 구분해 토큰 사용량을 줄이면서 함께 일어난 활동을 드러냄
숨김 같은 부정적인 반응도 포함하며, 관련된 긍정 반응이 충분하지 않으면 해당 여정을 추천에서 제외

최대 360일, 150개 이벤트를 사용하며, 기록을 얼마나 길게 볼지와 이벤트 수를 조정해 비용과 관련성의 균형을 맞춤

생성 설정은
temperature 0, 추론 토큰 비활성화, 출력 최대 300토큰
같은 기록에서 일관된 결과와 정해진 출력 형식을 얻고, 추론 비용을 낮추려는 설정
출력 처리 과정에서는 문자열이 아닌 값을 버리고, 대소문자를 구분하지 않고 중복을 제거하며 먼저 나온 항목을 유지
JSON 대신 일반 문장이 나오는 등 형식 오류가 사용자 개인화 데이터 전체의 누락으로 이어지지 않도록 처리

프롬프트에 담은 순위 기준과 안전 규칙

운영 프롬프트는 사용자 언어에 맞춰
각각 1~5단어인 여정 이름을 약 12개 이내로 생성하도록 요구하며, 다음 기준으로 순위를 결정
행동의 강도: 클릭보다 검색과 저장을 우선
관련 활동이 반복됐는지
얼마나 최근의 활동인지
여러 활동이 하나의 목표로 자연스럽게 이어지는지
이름이 구체적인지: ‘Furniture’보다 ‘Mid-Century Coffee Table’을 선호

무관한 주제는 합치지 않고, 한 번만 나타난 특이한 활동은 제외하며, 자동 생성 태그에는 오류가 있을 수 있다고 명시

상위 목록의 다양성을 높일 때도 활동 근거가 충분한 여정 안에서만 제한적으로 조정
근거가 없으면 빈 목록을 반환할 수 있지만, 없는 목표를 지어내서는 안 됨
이러한 지침이 기존의 유사도 감점과 수동 조정한 부정 반응 필터를 대체
자동 태그의 분류 오류를 사용자의 목표로 오인하지 않도록 하는 지침도 필요
프롬프트 변경 역시 모델 코드 변경처럼 검토하고 배포 절차를 거쳐 적용

대형 모델이 만든 데이터로 소형 모델 학습

성능이 높은 대형 모델은 별도의 과제별 학습 없이도 일관된 여정을 추론하지만,
수억 명의 활동을 정기적으로 분석하기에는 비용이 높음
대형 모델은 직접 서비스하는 대신
소형 모델의 학습 데이터를 만드는 데 사용
활동 기록마다 적절한 여정 목록을 생성해 입력과 모범 답안의 쌍을 구성
최종 답변 전에 추론 토큰을 더 사용하도록 했을 때 학습용 답변의 품질도 개선
오픈 웨이트 Qwen3의
0.6B, 1.7B, 4B, 8B 모델을 비교
대형 모델이 만든 예시로 지도 미세 조정(SFT)을 진행
LoRA를 적용해 전체 파라미터 대신 작은 어댑터만 학습
초기 수천 개의 예시에서는 품질이 빠르게 좋아졌지만, 이후에는 개선 폭이 작아짐
비슷한 예시를 더 늘리기보다
여러 활동을 하나의 목표로 묶어야 하는 어려운 사례와 다국어 사례를 다양하게 고르는 편이 효과적
0.6B와 1.7B 모델은 더 빨랐지만 어려운 사례에서 관련성과 일관성이 떨어졌고,
4B 모델이 품질과 처리량의 균형이 가장 좋아 실제 서비스에 채택
같은 사용자의 기록을 비교했을 때, LLM은 따로 나뉘던 주방 관련 항목을 하나로 묶고 ‘Art’를 ‘Penguin Art Drawing’으로 구체화
기존에 빠졌던 ‘Cast Iron Recipes’를 찾아내고, 유명인 뉴스와 밈 같은 일시적인 활동은 제외
영어 설명 태그에서 이름을 고르던 기존 방식과 달리
스페인어로도 여정 이름을 생성

수억 명의 활동을 분석하고 알림으로 연결

알고리듬이 바뀌면 전체 사용자의 결과를 갱신하고, 평소에는 최근 활동한 사용자를 대상으로 매일 필요한 부분만 처리
같은 4B 모델을 비교했을 때, 단순히 고정된 묶음으로 처리하는 방식보다
요청을 계속 받아 처리하는 온라인 추론 시스템의 처리량이 높았음
PagedAttention으로 KV 캐시 메모리 낭비를 줄임
연속 배칭으로 생성이 끝난 요청의 GPU 자리에 다음 요청을 바로 넣어, 가장 느린 요청이 끝날 때까지 기다리는 문제를 줄임
L40S GPU에서 실행하는 vLLM 앞에 요청을 분배하는 NVIDIA Dynamo를 배치
요청을 받는 부분과 모델을 실행하는 부분을 독립적으로 확장
공통 프롬프트가 이미 캐시에 있는 서버로 요청을 보내 같은 내용을 다시 계산하는 비용을 절감
모든 요청이 긴 시스템 프롬프트를 공유하므로 접두사 캐싱을 사용하고, 입력을 나눠 처리하는 chunked prefill과 서버별 동시 처리 상한도 적용

L40S GPU 약 100개로 초당 약 775건을 처리하며, 응답 시간 중앙값은 약 1.2초, p95는 약 3.0초

매일 처리할 사용자를 작은 묶음으로 나누고 동시 요청 수를 제한해, 느린 응답이 전체 작업을 지연시키지 않도록 구성
가장 효과가 컸던 개선은 GPU 추가가 아니라
최근 며칠 내 분석한 사용자를 건너뛰는 것
사용자의 장기 목표는 시간 단위로 바뀌지 않으므로 같은 결과를 반복해서 계산할 필요가 적음
생성에 실패하면 불완전한 목록을 저장하지 않고 해당 사용자를 재시도
형식이 올바른 빈 JSON 목록은 성공으로 처리하며, 근거가 없다면 막연한 ‘Art’ 알림을 보내는 대신 해당 여정의 알림을 생략
결과는 사용자별로 저장하고
알림을 보낼 시점에 조회
여정 이름을 검색어로 삼아 임베딩 기반 모델로 Pin을 찾고, 별도의 순위 모델로 다시 정렬
최근 알림을 보낸 여정은 반복 노출을 줄이고, 사용자가 명시적으로 거부한 여정은 제외
이후 알림 시스템이 실제 발송 여부와 채널을 결정

민감한 특성을 추론하지 않도록 여러 단계에서 차단

입력 키워드는 프롬프트에 들어가기 전에
알림 콘텐츠 필터를 통과
생성한 여정 이름은 같은 콘텐츠 필터와
생성형 콘텐츠 안전 필터를 모두 거침
일반적인 키워드로는 허용되더라도 사용자의 목표로 추론하기에 부적절한 이름은 제거
건강 상태, 정치, 종교, 성적 지향, 성 정체성, 인종 관련 주제를 추론하거나 타기팅하지 않도록 모델에 명시
프로필 정보는 최소한으로 제공하고, 생년월일 대신 연령대를 사용해 대략적인 생애 단계만 전달
현지 법률에 따라 EEA, 스위스, 영국의 18세 미만 사용자는 아직 적용 대상에서 제외

정답이 없는 목표 추론의 품질 평가

사용자가 실제로 이루려는 목표에는 미리 정해진 정답이 없어
출력 직접 비교, 활동 근거 확인, 온라인 실험을 함께 사용
같은 사용자의 기록에 대한 기존 시스템과 LLM의 결과를 나란히 검토
‘스팸 김치볶음밥’이라는 목표가 분명한데 ‘집밥’으로 뭉뚱그리거나, 충분한 근거가 있는 다른 관심사를 빠뜨리는 실패 사례도 확인
시간이 걸리더라도 집계 지표만으로 드러나지 않는 목표 분리와 언어 품질 문제를 파악하는 데 필요
별도의 언어 모델로 일부 결과를 뽑아
관련성, 활동 기록의 뒷받침, 다양성과 중복, 구체성을 평가
자연스럽고 서비스에 어울리는 이름이라도 활동 기록에 근거가 없으면 실패로 판단
미국과 캐나다의 초기 실험에서 기존 클러스터링 시스템보다
이메일 클릭률 1.1%, 푸시 열람률 1.3% 상승
서비스 전반의 여러 이용 및 재방문 지표도 통계적으로 유의하게 개선
이후 여러 언어와 국가로 확대한 실험에서도 같은 개선 방향을 확인했으며, 두 실험을 실제 서비스에 적용한 뒤 일간, 주간, 월간 활성 사용자가 증가

실험 중인 콘텐츠 표현 방식과 외부 활동 활용

현재 기본 모델은
미세 조정한 Qwen3 4B이며, 아래 확장 기능은 학습이나 적용 실험 단계로 모든 사용자에게 제공되는 것은 아님
Semantic IDs(SIDs)는 Pin을 여러 설명 태그 대신
압축된 식별자로 표현하는 방식
RQ-VAE로 각 Pin을 11비트짜리 코드 5개로 압축하고, 하나의 64비트 정수에 저장한 뒤 프롬프트를 만들 때 특수 토큰으로 변환
토크나이저에 SID용 토큰을 추가하고, SID와 Pin 제목, 태그를 함께 사용해 모델이 식별자의 의미를 익히도록
추가 사전 학습(CPT) 진행
이후 SFT로 SID가 포함된 활동 기록에서 여정을 생성하도록 학습
SID는
활동 기록이 충분한 사용자에게만 더 좋은 결과를 보여 다음과 같이 태그 방식을 함께 사용
SID가 있는 이벤트가
10개 미만이면 프롬프트 전체를 태그로 구성
특정 이벤트에 SID가 없으면 해당 이벤트만 태그로 대체
사용자가 직접 입력한 검색어는 의도를 가장 정확히 보여주므로 항상 원문 유지
기대 효과는 입력 토큰 절감, 자동 설명 태그에 대한 의존도 축소, 추천 모델과 LLM이 같은 콘텐츠 표현을 사용하는 것
대신
사람이 프롬프트를 읽고 문제를 파악하기 어려워지는 단점
휴면 사용자나 활동이 적은 사용자에게는 방문, 장바구니 추가, 가입, 결제 등
최근 외부 사이트 활동을 안전 필터를 거친 짧은 요약으로 보완
Pinterest 안의 검색과 저장을 우선하며, 외부 활동에서는 결제를 장바구니 추가나 방문보다 강한 신호로 취급
내부 활동이 부족할 때만 추가하고 프롬프트에서 차지하는 비중도 제한
외부 활동만으로 추론한 여정은 최상위에 배치하지 않음
프롬프트 수정만으로 충분한지, 외부 활동을 반영한 별도 미세 조정이 필요한지 시험 중

하나의 모델로 세부 목표와 알림 문구까지 생성

생성 방식으로 전환하면 새로운 결과가 필요할 때 별도 서비스를 만드는 대신
프롬프트와 모델 학습을 수정하는 방식으로 확장 가능
한 번의 호출로
여정 이름과 더 구체적인 하위 주제, 함께 관심을 가질 만한 관련 주제를 생성하는 방식을 실험
‘사워도우 배우기’라는 목표에 다음 단계와 관련 주제를 함께 붙여, 추천 콘텐츠를 찾을 때 넓거나 구체적인 의도를 모두 활용

알림 제목도 여정 이름과 함께 생성하는 방식 시험

‘Photography’, ‘Hairstyles’, ‘Quotes’ 같은 일반적인 이름을 알림 제목으로 썼을 때 반응이 저조했음
여정 이름을 먼저 확정한 뒤 알림 문구를 작성하며, 문구를 매력적으로 만들려고 목표 자체를 바꾸지 못하도록 순서를 제한

대형 모델의 답을 따라 배우는 것에서 사용자 반응으로 학습하는 방식으로

대형 모델의 답변을 학습한 소형 모델은
대형 모델이 추측한 사용자 의도를 따라가는 데 한계가 있어, 실제 사용자 반응을 직접 학습하는 실험을 진행
여정 이메일에서 “이 여정에 관심이 있나요?”라는 질문에 대한 Yes/No 응답을 수집하고,
No를 누르면 해당 여정을 즉시 알림 대상에서 제외
알림을 통해 방문한 뒤 Pin을 저장하거나 클릭하고 숨기는 행동도 추가 학습 신호로 활용
사용자 반응은 개별 여정에 대한 평가지만 모델은 순위가 있는 목록을 출력하므로, 이를
두 단계로 나눠 학습
많은 개별 피드백을 학습해 사용자가 관심을 보인 여정은 더 자주, 거부한 여정은 덜 생성하도록 조정
기존 목록에서 Yes를 받은 여정은 남기고 No를 받은 여정은 제거한 결과를 좋은 답변으로, 반대로 편집한 결과를 나쁜 답변으로 구성해 추가 학습
두 번째 단계는
피드백에 따라 목록을 편집하는 방식(feedback-as-edit) 으로, 첫 단계에서 학습한 모델이 순위와 다양성, 출력 형식까지 다시 맞추도록 하는 과정
직접 답한 Yes/No와 저장, 클릭, 숨김 같은 행동에 각각 어느 정도 비중을 둘지, 피드백이 늘수록 성능도 꾸준히 좋아지는 학습 방식을 탐색 중
오프라인 평가에서는 유망한 결과를 얻었으며 온라인 A/B 테스트가 진행 중으로, 사용자 피드백을 직접 반영하는 학습은 아직 실험 단계

Pinterest, 사용자 활동에서 장기 목표를 추론하는 LLM 구축

요약

핵심 포인트

개별 관심사가 아닌 장기 목표를 추천에 활용

초기 클러스터링 시스템의 성과와 한계

활동 기록에서 여정 목록을 직접 생성

프롬프트에 담은 순위 기준과 안전 규칙

대형 모델이 만든 데이터로 소형 모델 학습

수억 명의 활동을 분석하고 알림으로 연결

민감한 특성을 추론하지 않도록 여러 단계에서 차단

정답이 없는 목표 추론의 품질 평가

실험 중인 콘텐츠 표현 방식과 외부 활동 활용

하나의 모델로 세부 목표와 알림 문구까지 생성

대형 모델의 답을 따라 배우는 것에서 사용자 반응으로 학습하는 방식으로

댓글과 토론

댓글

개별 관심사가 아닌 장기 목표를 추천에 활용

초기 클러스터링 시스템의 성과와 한계

활동 기록에서 여정 목록을 직접 생성

프롬프트에 담은 순위 기준과 안전 규칙

대형 모델이 만든 데이터로 소형 모델 학습

수억 명의 활동을 분석하고 알림으로 연결

민감한 특성을 추론하지 않도록 여러 단계에서 차단

정답이 없는 목표 추론의 품질 평가

실험 중인 콘텐츠 표현 방식과 외부 활동 활용

하나의 모델로 세부 목표와 알림 문구까지 생성

대형 모델의 답을 따라 배우는 것에서 사용자 반응으로 학습하는 방식으로

댓글과 토론