Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM의 조건부 분포를 전이 연산자로 활용하여 구조적 확률 추론을 수행하는 Large Language Gibbs 체계를 제안합니다. 단일 패스 생성 방식의 순서 의존적 편향을 극복하고, 반복적인 재샘플링을 통해 일관된 정지 분포를 생성하는 것이 특징입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델(LLMs)에 인코딩된 지식은 복잡한 세계를 설명하는 변수들에 대한 구조적 추론 (structured reasoning)을 위한 기질 (substrate) 역할을 할 수 있지만, 이 지식에 확률적으로 일관된 방식으로 접근하는 것은 어려운 추론 (inference) 문제를 야기합니다. 우리는 LLM의 조건부 분포 (conditional distributions)를 전이 연산자 (transition operators)로 사용하는 구조적 확률 추론 (structured probabilistic inference) 체계인 Large Language Gibbs를 제안합니다. 단일 패스 자기회귀 생성 (single-pass autoregressive generation)을 통해 구조화된 객체를 샘플링하는 대신, 우리는 LLM의 다음 토큰 조건부 (next-token conditionals)를 사용하여 다른 변수들에 조건화된 개별 변수들을 반복적으로 재샘플링 (resample)합니다. 이 접근 방식은 순서 의존적 편향 (order-dependent biases)을 피하고 모든 로컬 조건부 (local conditionals) 사이의 절충안을 반영하는 정지 분포 (stationary distribution)를 생성합니다. 우리는 이 접근 방식을 합성 분포 (synthetic distributions)로부터의 샘플링, 일관된 추론 작업, 그리고 베이지안 구조 학습 (Bayesian structure learning)에 적용합니다. 결과는 노이즈가 있는 LLM 조건부를 통해 접근 가능한 세계 사전 확률 (world prior) 하에서, 구조적 확률 추론을 위해 MCMC 내에서 LLM 조건부를 사용하는 것이 단일 패스 생성 (one-pass generation)에 대한 실용적인 대안임을 시사합니다.