확장 가능한 가능도 흐름 맵을 통한 소수 단계 볼츠만 생성기 (Few-Step Boltzmann Generators via Scalable
요약
SCALLOP은 적은 수의 함수 평가로 샘플과 밀도를 동시에 생성하는 새로운 가능도 흐름 맵 모델입니다. 기존 F2D2 모델의 확률적 근사 방식 대신 확장 가능한 가능도 증류 목적 함수를 도입하여 학습 분산과 시간을 크게 단축했습니다.
핵심 포인트
- Hutchinson estimator 없이 벡터화된 공식화 지원
- 분자 과학 및 이미지 데이터셋에서 효과 입증
- 기존 베이스라인 대비 최대 10배 빠른 추론 속도 달성
- 학습 분산 감소 및 최첨단 성능 유지
흐름 기반 생성 모델링 (flow-based generative modeling)의 최근 발전은 적은 수의 함수 평가 (function evaluations)만으로도 고품질의 샘플을 출력하는 모델들로 이어졌습니다. 그러나 현재 모델의 가능도 (likelihood)를 추정하는 데 있어서는 이와 유사한 진전이 부족한 실정입니다. 특히, 기존의 대부분의 방법들은 정확한 계산을 가능하게 하는 제한적인 아키텍처 (architectures)에 의존하거나, 상당한 분산 (variance)을 유발하는 Hutchinson의 trace estimator와 같은 확률적 근사 (stochastic approximations)를 사용합니다. 본 연구에서는 SCAlable LikeLihood distillation of flOw maPs (SCALLOP)를 소개합니다. SCALLOP은 적은 수의 함수 평가만으로 샘플과 그 밀도 (densities)를 생성할 수 있는 가능도 흐름 맵 (likelihood flow map) 모델인 최근 제안된 F2D2를 기반으로 합니다. F2D2는 학습 과정에서 Hutchinson의 estimator를 사용하는 반면, 우리는 Hutchinson을 사용하지 않으며 벡터화된 공식화 (vectorized formulation)를 허용하는 대안적이고 더 확장 가능한 가능도 증류 (likelihood distillation) 목적 함수를 도입합니다. 실험적으로, 우리는 분자 과학 (molecular science) 분야에서 볼츠만 생성기 (Boltzmann generator)로서 SCALLOP의 효과를 입증하였으며, 이미지 데이터셋에서도 그 이점을 추가로 검증하였습니다. SCALLOP은 F2D2와 비교하여 성능을 일관되게 향상시키면서도 학습 분산과 학습 시간을 모두 크게 줄였으며, 가장 빠른 베이스라인 (baseline) 대비 최대 10배의 추론 속도 향상을 달성하는 동시에 최첨단 (state-of-the-art) 기술과 경쟁할 만한 성능을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기