It Just Takes Two: 대규모 집합으로의 감가 추론 확장

신경 사후 추정(Neural posterior estimation)은 감가 추론(amortized inference)을 위한 강력한 도구로 부상했으며, 과학 및 응용 분야 전반에 걸쳐 채택이 증가하고 있습니다. 이러한 많은 응용 프로그램에서 조건 변수는 관측치들의 집합이며, 이 요소들은 목표뿐만 아니라 집합 전체에 공유되는 알려지지 않은 요인들에 의존합니다. 따라서 최적의 추론은 해당 집합을 공동으로 처리해야 하며, 이는 결국 배포(deployment) 집합 크기만큼 추정기를 훈련할 것을 요구합니다. 이러한 방식에서는 메모리와 컴퓨팅 자원이 빠르게 비현실적이 됩니다. 우리는 표현 학습(representation learning)과 사후 모델링(posterior modeling)을 분리하는 간단하고 이론적으로 근거가 있는 전략을 소개합니다. 우리의 방법은 최대 크기 2의 집합에 대해 평균 풀(mean-pool) Deep Set을 훈련하여, 임의의 집합 크기로 일반화되는 인코더를 생성합니다. 그런 다음 추론 헤드(inference head)는 사전 집계된 임베딩(pre-aggregated embeddings)으로 미세 조정되어, 훈련 비용이 배포 집합 크기 N에 본질적으로 독립적이게 만듭니다. 수천 개의 N을 가진 스칼라, 이미지, 다중 뷰 3D, 분자 및 고차원 조건부 생성 벤치마크 전반에서, 우리의 접근 방식은 표준 베이스라인과 동등하거나 능가하는 성능을 훨씬 적은 컴퓨팅 자원으로 달성합니다.