의미론적 ID(semantic IDs)를 활용하는 생성 추천 시스템은 각 아이템을 그 의미론적 표현에서 파생된 이산적인 코드 시퀀스로 나타내고, 이 코드를 예측하여 추천을 생성합니다. 기존의 의미론적 ID 기반 추천기는 일반적으로 관찰된 다음 아이템에 대해 하드 레이블(hard labels)로 훈련됩니다. 이러한 감독 방식이 목표를 식별하기는 하지만, 동일한 사용자 기록 조건에서 대체 아이템에 대한 명시적인 분포 정보는 제공하지 못합니다. 순차적 추천기(Sequential recommenders)는 이 아이템 수준의 예측 지식을 공급할 수 있지만, 교사 모델과 학생 모델이 각각 아이템 공간과 코드 공간에서 작동하기 때문에 이를 의미론적 ID 생성으로 전이하는 것은 어렵습니다.
본 논문에서는 병렬 의미론적 ID 추천기를 위한 두 가지 상호 보완적인 지식 증류(knowledge-distillation) 목적 함수를 제안합니다. 이 방식은 자기회귀적 접두사 조건화 없이 모든 코드 위치를 동시에 예측합니다. 아이템 분포 매칭(Item Distribution Matching, IDM)은 학생의 병렬 코드 예측으로부터 카탈로그 수준의 아이템 분포를 재구성하고 이를 교사의 아이템 분포와 정렬합니다. 코드 주변부 매칭(Code Marginal Matching, CMM)은 고정된 아이템-코드 할당을 사용하여 교사의 아이템 확률을 각 코드 위치에 투영한 다음, 그 결과로 얻어진 코드 주변부(code marginals)를 해당 학생 헤드와 일치시킵니다. 두 목적 함수 모두 학생의 병렬 예측 구조를 보존하면서 교사의 소프트 분포 지식(soft distributional knowledge)을 전이합니다.
벤치마크 데이터셋에 대한 실험 결과, 두 방법 모두 기존 최첨단 접근 방식보다 지속적으로 우수한 성능을 보였습니다. 평균적으로 IDM은 Recall@10을 15.39% 개선했으며, CMM은 NDCG@10을 8.28% 개선했습니다. 이러한 결과는 재구성된 아이템 공간 또는 코드 주변부 공간 중 어느 곳에서 지식 증류를 수행하더라도 병렬 생성 추천의 하드 레이블 감독을 실질적으로 강화할 수 있음을 입증합니다.