Large Language Gibbs를 이용한 구조적 추론

대규모 언어 모델(LLMs)에 인코딩된 지식은 복잡한 세계를 설명하는 변수들에 대한 구조적 추론 (structured reasoning)을 위한 기질 (substrate) 역할을 할 수 있지만, 이 지식에 확률적으로 일관된 방식으로 접근하는 것은 어려운 추론 (inference) 문제를 야기합니다. 우리는 LLM의 조건부 분포 (conditional distributions)를 전이 연산자 (transition operators)로 사용하는 구조적 확률 추론 (structured probabilistic inference) 체계인 Large Language Gibbs를 제안합니다. 단일 패스 자기회귀 생성 (single-pass autoregressive generation)을 통해 구조화된 객체를 샘플링하는 대신, 우리는 LLM의 다음 토큰 조건부 (next-token conditionals)를 사용하여 다른 변수들에 조건화된 개별 변수들을 반복적으로 재샘플링 (resample)합니다. 이 접근 방식은 순서 의존적 편향 (order-dependent biases)을 피하고 모든 로컬 조건부 (local conditionals) 사이의 절충안을 반영하는 정지 분포 (stationary distribution)를 생성합니다. 우리는 이 접근 방식을 합성 분포 (synthetic distributions)로부터의 샘플링, 일관된 추론 작업, 그리고 베이지안 구조 학습 (Bayesian structure learning)에 적용합니다. 결과는 노이즈가 있는 LLM 조건부를 통해 접근 가능한 세계 사전 확률 (world prior) 하에서, 구조적 확률 추론을 위해 MCMC 내에서 LLM 조건부를 사용하는 것이 단일 패스 생성 (one-pass generation)에 대한 실용적인 대안임을 시사합니다.