FORTE: 산업용 추천 시스템의 피처 평가 및 폐기(Deprecation)를 위한 프로덕션 프레임워크

프로덕션 추천 시스템은 피처 라이프사이클 비대칭성을 가지고 있습니다. 즉, 새로운 피처 추가는 특정 메트릭에서 이득을 창출해야 하지만, 피처 제거는 어떤 메트릭도 퇴보시키지 않아야 합니다. 실제 환경에서 피처 폐기는 우선순위를 정하기 어렵습니다. 왜냐하면 하나의 피처가 다른 피처와 상호작용하여 제거되지 못할 수 있고, 그 중요도가 매일 변하며, 프로덕션 모델 변경이나 데이터 드리프트(data drift)가 발생하기 전에는 평가할 수 없고, 다른 출시 건들과 A/B 테스트 공간을 두고 경쟁하거나, 온라인 A/B 테스트에서 회귀를 일으키거나, 여러 모델이 이를 소비하여 폐기 계획을 조정해야 하기 때문입니다. 우리는 피처를 발견하고, 검증하며, 제거하는 모델 비종속적(model-agnostic) 프로덕션 프레임워크인 FORTE를 제시합니다. 이 프레임워크는 효율적인 교란(perturbation) 구현을 통해 일일 피처 평가가 가능하게 합니다. 상호작용을 고려하기 위해, 모든 저랭크 피처(low-rank features)로부터 구성된 후보 피처 세트들을 그룹별 제거(grouped ablation)를 통해 평가하며, 이 오프라인 결과는 온라인 A/B 테스트에 충분히 예측력이 있어 폐기가 자신감을 가지고 온라인 테스트로 진행될 수 있도록 합니다. 계보 추적(Lineage tracing)은 모든 다운스트림 소비자 모델을 식별하여 학습 세트에서 피처를 제거함으로써 얻을 수 있는 전체 절감 효과를 실현합니다. 우리는 2개의 대규모 추천 시스템에 걸쳐 FORTE를 검증했으며, 온라인 회귀를 일으키지 않는 폐기 가능한 피처 세트를 식별한다는 것을 발견했습니다. 다만 효율성에 미치는 영향은 모델 특성에 따라 달라집니다. 검색 관련성(search-relevance) 모델의 경우, FORTE는 32개, 48개, 59개의 3가지 중첩된 후보 세트를 산출했습니다. 온라인 가드레일(Online guardrails)이 가장 큰 처리를 거부했습니다. 48개 피처 세트가 폐기로 선택되었고, 이는 모델 피처의 43.3%를 제거하는 결과를 가져왔습니다. 대규모 순위 지정(ranking) 모델의 경우, FORTE는 제거할 8개의 후보를 식별했습니다. 재학습 및 A/B 테스트를 통해 회귀가 없음을 확인했습니다. 이 출시로 인해 학습 가능한 파라미터(trainable parameters)가 29.9% 감소했고, 서비스 처리량(serving throughput)이 19.8-25.5% 향상되었으며, 연간 학습 비용을 수십만 달러 절감할 수 있었습니다.