능동적 추론 (Active Inference)은 어떤 유형의 추론인가?

능동적 추론 (Active Inference)은 의사결정을 추론 (Inference)의 관점으로 바라보며, 기대 자유 에너지 (Expected Free Energy, EFE)를 통해 목표 지향적 (goal-directed) 행동과 정보 탐색적 (information-seeking) 행동을 통합합니다. 최근 연구에서는 EFE 최소화가 인식적 사전 확률 (epistemic priors)이 보강된 생성 모델 (generative model)에서의 변분 자유 에너지 (Variational Free Energy, VFE) 최소화로 기술될 수 있음을 보여주었습니다. 본 논문에서는 보강된 모델의 VFE가 예측 모델 (predictive model)의 VFE에 명시적인 엔트로피 교정 항 (entropy-correction terms)을 더한 형태로 다시 작성될 수 있음을 증명하며, 이를 통해 EFE의 기여도를 투명하게 만듭니다. 이어서, 적절한 EFE 기반 계획 (planning)을 위해서는 이러한 인식적 교정 (epistemic corrections)을 주변 추론 (marginal inference)을 정책 최적화 (policy optimization)로 전환하는 계획 교정 (planning correction)과 결합해야 함을 보여주며, 이를 통해 EFE 기반 계획에 대한 완전한 변분 특성 (variational characterization)을 도출합니다. 이는 교차 엔트로피 계획 (cross-entropy planning)과 완전한 EFE 기반 계획을 위해 각각 어떤 교정이 필요한지를 명확히 해줍니다. 동일한 엔트로피 교정 공식은 더 간단한 절제 연구 (ablations)와 더불어 EFE 기반 계획을 위한 상세한 메시지 전달 (message-passing) 체계로 이어집니다. 세 가지 그리드 월드 (grid-world) 환경에서의 실험 결과, 관측 (observations)이 결정적일 때는 계획 교정만으로도 도움이 되지만, 관측이 단지 암시적인 수준일 때는 추가적인 관측 측 인식적 교정이 가장 중요하다는 것을 보여줍니다.