광고 소재(Ad creative) 최적화는 생성(generation)보다는 평가(evaluation)에 의해 점점 더 제약을 받고 있습니다. 생성 모델(Generative models)은 수많은 그럴듯한 소재를 만들어낼 수 있지만, 신뢰할 수 있는 평가를 위해서는 온라인 실험(online experiments)이 필요하며, 이 과정에서는 제한된 슬레이트(slate)만을 테스트할 수 있습니다. 우리는 과거의 A/B 테스트 데이터를 사용하여 해당 슬레이트 내의 후보들을 생성하고 선택하는 방법을 연구합니다. 우리는 추론 시점의 비평가(inference-time critic)로서 예측 모델(predictive model)을 사용하여 소재 생성을 안내하는 성능 중심의 오프라인-온라인 워크플로우(offline-to-online workflow)를 개발하고 배포했습니다. 오프라인 단계에서는 과거 실험 데이터를 통해 학습된 예측 모델을 사용하여 생성 모델이 만든 변형(variants)들의 순위를 매기고 정교화합니다. 이후 최종 테스트 슬레이트가 온라인 적응형 실험(online adaptive experiment)에 배포됩니다. 50개의 암(arm)을 가진 필드 실험에서, 이 방법으로 생성된 최상의 소재는 사람이 작성한 최상의 소재보다 45.1% 더 높은 참여도(engagement)를 기록했습니다. 두 차례의 추가 실험에서도 46.7%와 36.2%의 상승을 보이며 동일한 상위 꼬리(upper-tail) 패턴을 나타냈습니다. 우리는 예측 모델이 오프라인에서 최상의 소재를 직접 식별하기에는 너무 노이즈가 많음에도 불구하고, 적응형 실험에서 효율적으로 평가될 수 있는 강력한 후보들을 생성하도록 생성 모델을 효과적으로 안내한다는 것을 발견했습니다. 이 결과는 생성 모델을 활용한 소재 최적화를 위한 설계 원칙을 제시합니다: 예측 모델을 사용하여 테스트할 슬레이트의 생성을 유도하고, 실행 가능한 테스트 규모 내에서 고성능 후보를 포함하고 있는지에 따라 슬레이트를 판단하며, 약한 암(weak arms)으로 인한 트래픽 손실을 제한하면서 후보들 사이에서 선택하기 위해 적응형 실험을 사용하십시오.