조합적 변화(Compositional Shift) 상황에서의 조건부 생성(Conditional Generation) 샘플 품질 평가

조건부 생성기(Conditional generators)는 원하는 조건이 관찰된 속성(attributes)이나 실험적 요인(experimental factors)의 새로운 조합인 설정들을 포함하여, 제어 가능한 생성(controllable generation)을 위한 자연스러운 도구를 제공합니다. 많은 응용 분야, 특히 과학적 영역에서 이러한 모델은 실제 샘플이 희귀하거나, 비용이 많이 들거나, 아직 관찰되지 않은 조건들을 탐색하는 데 매력적입니다. 그러나 이는 평가에 있어 순환 논리(circularity) 문제를 야기합니다. 표준적인 조건부 품질 지표(conditional quality metrics)는 참조 대상 분포(reference target distribution)를 필요로 하지만, 외삽 영역(extrapolative regime)에서는 정의상 해당 분포를 사용할 수 없기 때문입니다. 우리는 오직 훈련 분포(training distribution)만을 사용하여 조건부 샘플을 평가하기 위한 사후적(post-hoc)인 샘플별 신뢰도 점수(per-sample trust score)로 이 문제를 해결합니다. 이 점수는 추정 가능한 두 가지 양을 결합합니다: 실제 데이터 매니폴드(real data manifold)와의 호환성을 측정하는 전역적 실재성(global realism), 그리고 샘플이 그럴듯한 대안들보다 요청된 속성에 더 가까운지를 측정하는 속성별 충실도(attribute-wise faithfulness)입니다. 우리는 관찰된 속성에 대한 완만한 커버리지 조건(coverage condition) 하에서, 이 점수가 외삽된 생성물(extrapolated generations) 전반에 걸쳐 의미 있는 비교를 복구할 수 있음을 보여줍니다. 이러한 비교는 생성물의 효과적인 필터링(filtering), 순위 매기기(ranking), 그리고 기권(abstention)을 가능하게 하며, 기성(off-the-shelf) 사전 학습된 모델(pretrained models)에 직접 사용할 수 있습니다. 생물학적 이미징(biological imaging)에서 선택된 샘플들은 실제 형태학적 구조(morphological structure)를 더 잘 보존하고 다운스트림 예측 성능(downstream predictive performance)을 향상시키는 반면, 제어된 비전 벤치마크(vision benchmarks)에서도 유사한 이점이 관찰되었습니다. 마지막으로, 우리는 이 점수가 생성 과정 중에 어떻게 적용될 수 있는지 보여주며, 전체 디코딩(full decoding)이 이루어지기 전에 기권(abstention)을 가능하게 합니다. 코드는 https://github.com/berkerdemirel/faithful-cond-gen 에서 확인할 수 있습니다.