잠재 공간 베이지안 최적화 (Latent Space Bayesian Optimization)를 위한 인컨텍스트 학습 (In-Context

베이지안 최적화 (Bayesian optimization, BO)는 샘플 효율적인 설계를 위한 핵심 도구이며, 잠재 공간 베이지안 최적화 (latent-space Bayesian optimization, LSBO)는 이를 분자나 단백질과 같은 구조화된 객체로 확장합니다. 이와 병행하여, TabPFN 및 TabICL과 같은 테이블형 파운데이션 모델 (tabular foundation models)은 현재 최첨단 회귀 (regression) 성능을 달성하고 있으며, BO 대리 모델 (surrogates)로 점점 더 많이 사용되고 있습니다. 이러한 모델들의 베이지안 동작은 대규모 합성 사전 학습 (synthetic pretraining) 데이터셋에 의해 유도되기 때문에, 이 사전 학습 분포의 구성이 매우 중요합니다. LSBO는 독특한 불일치 (mismatch)를 생성합니다. 즉, 잠재 코드 (latent code)에서 목적 함수 값 (objective value)으로 유도되는 매핑이 현재의 인컨텍스트 모델 (in-context models)을 학습시키는 데 사용된 회귀 작업과 현저히 다릅니다. 우리는 분자 VAE (molecular VAE)의 잠재 공간 상에 정의된 합성 최적화 작업 (synthetic optimization tasks)을 테이블형 파운데이션 모델 대리 모델의 사전 학습 단계에 보완함으로써 이 불일치를 해결합니다. 지속 사전 학습 (continued-pretraining) 목적 함수는 모델을 원래의 체크포인트에 고정하는 정규화 항 (regularizer)을 특징으로 하며, 이를 통해 적응 작업 (adaptation tasks)에 대한 과도한 전문화를 피하면서도 모델의 광범위한 회귀 사전 지식 (regression prior)을 보존합니다. 홀드아웃 (held-out) 분자 최적화 벤치마크에서 결과 모델은 강력한 성능을 달성하였으며, 이는 인컨텍스트 대리 모델을 위한 LSBO 특화 적응의 관련성을 뒷받침합니다.