Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
GFlowNets의 순방향 정책 학습을 정보 기하학 관점에서 공식화한 연구입니다. Fisher-Rao 메트릭을 활용한 자연 경사(Natural Gradient) 업데이트 방식을 제안하며, 궤적 Fisher 정보를 계산하는 세 가지 방법론을 제시합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기생성적 흐름 네트워크 (Generative Flow Networks, GFlowNets)는 보상을 통해 지정된 비정규화된 타겟 밀도 (unnormalised target density)만을 필요로 하며, 이산적(discrete) 및 혼합 이산-연속(mixed discrete-continuous) 객체에 대한 분할 상환 추론 (amortised inference)을 위한 유연한 프레임워크로 등장했습니다. 본 연구에서는 유도된 궤적 샘플러 (induced trajectory sampler)의 정보 기하학 (information geometry)을 통해 GFlowNets에서의 순방향 정책 (forward-policy) 학습을 공식화합니다. 순방향 정책을 유도된 궤적 샘플러로 취급함으로써, 우리는 그 고유한 1차 기하학 (first-order geometry)이 궤적 가족 (trajectory family)의 Fisher-Rao 메트릭 (Fisher-Rao metric)에 의해 주어진다는 것을 보여주며, 해당 Fisher 정보 (Fisher information)를 계산하거나 정확하게 근사할 수 있는 경우 관련된 자연 경사 (natural gradient)가 정전적 국소 업데이트 (canonical local update)를 제공함을 보여줍니다. 우리는 궤적 Fisher (trajectory Fisher)를 단계별 조건부 2차 모멘트 (per-step conditional second moments)로 정확하게 분해하여, 언제 시간적 스코어 상호작용 (temporal score interactions)이 사라지는지, 그리고 공유된 파라미터화 (shared parameterisation) 하에서 언제 조밀한 결합 (dense couplings)이 남아있는지를 명확히 합니다. 이는 세 가지 계산 영역 (computational regimes)으로 이어집니다: 다루기 쉬운 정확한 Fisher 정보를 가진 설정, 기대 Fisher의 몬테카를로 추정치 (Monte Carlo estimators)로 충분한 설정, 그리고 타겟 국소성 (target locality) 또는 인수분해 (factorisation)를 통해 Fisher 기댓값의 정확한 근사를 얻을 수 있는 구조 활용 가능 설정 (structure-exploitable settings)입니다. 후자의 경우, 정확한 주변화 (exact marginalisation), 분리자 방법 (separator methods), 믿음 전파 (belief propagation)와 같은 그래픽 모델 (graphical-model) 도구들이 자연 경사 업데이트를 위한 원칙적인 대리물 (surrogates)을 제공합니다. 결과적으로 이 프레임워크는 타겟 구조를 최적화 기하학 (optimisation geometry)으로 전환하며, GFlowNets에서 구조 인식형 순방향 정책 학습 (structure-aware forward-policy training)으로 가는 다루기 쉬운 경로를 제공합니다. 우리는 리만 (Riemannian) 및 유클리드 (Euclidean) 최적화 하에서의 수렴 및 탐색 동작을 비교하는 예시를 통해 이 프레임워크를 경험적으로 입증합니다.