인컨텍스트 그래피컬 추론 (In-Context Graphical Inference)

이산 그래피컬 모델 (discrete graphical models)에서의 주변부 추론 (Marginal inference)은 정확성 (exactness)과 확장성 (scalability) 사이의 선택을 강요합니다. 정확한 알고리즘은 높은 트리의 폭 (high-treewidth)을 가진 그래프에 대해 다루기 어렵고 (intractable), 반복적 근사법 (iterative approximations, 예: Belief Propagation, 변분법 (variational methods))은 좌절된 토폴로지 (frustrated topologies)에서 수렴 보장 (convergence guarantees)을 희생합니다. 우리는 이러한 이분법이 잘못된 귀납적 편향 (inductive bias)에서 기인한다고 주장합니다. 즉, 반복적 방법들은 정확한 추론을 가능하게 하는 순차적 제거 구조 (sequential elimination structure)를 포기합니다. 우리는 학습된 Tensor-Train 압축 중간 인자 (Tensor-Train-compressed intermediate factors)를 사용하여 변수 제거 (Variable Elimination)를 모방함으로써 이 구조를 복원하는 자기회귀 (autoregressive) Graph Transformer인 인컨텍스트 그래피컬 추론 (In-Context Graphical Inference, ICG-I)을 소개합니다. 이는 Dirichlet 출력층 (Dirichlet output layer) 및 토폴로지 변화 (topological shift) 하에서도 보정된 (calibrated), 분포 비의존적 (distribution-free) 커버리지 보장을 위한 가중 콘포멀 예측 (Weighted Conformal Prediction, WCP)과 결합됩니다. 우리는 TT 압축 오류가 자기회귀 체인을 통해 최대 선형적으로 (linearly) 전파된다는 점, Dirichlet-Multinomial 손실이 적절한 점수 규칙 (proper scoring rule)이라는 점, 그리고 WCP가 추정된 밀도 비율 (density ratios) 하에서 정량화 가능한 저하와 함께 커버리지를 유지한다는 점을 증명합니다. 우리는 ICG-I를 평가하기 위해 집중적인 실험을 수행하였으며, 모든 벤치마크에서 최첨단 (state-of-the-art) 성능을 달성했습니다. ICG-I는 표준 인스턴스에서 MAE를 0.041 (최고 베이스라인)에서 0.020으로 줄였으며, BP (Belief Propagation)가 완전히 발산하는 N=500의 좌절된 스핀 유리 (frustrated spin glasses) 모델에서 0.048을 달성했습니다.