언어 모델 사전 지식 (Language-Model Priors)을 활용한 관측 기반 POMDP 월드 모델 학습

요약

본 논문은 언어 모델 사전 지식(Language-model priors)을 활용하여 부분 관측 마르코프 결정 과정(POMDPs)의 월드 모델 학습 문제를 해결하는 Pinductor를 소개합니다. Pinductor는 LLM이 소수의 관측-행동 궤적만으로 후보 POMDP 모델들을 제안하고, 신념 기반 가능도 점수를 최적화하며 모델을 정제합니다. 이 방법은 적은 정보로 높은 샘플 효율성을 달성하여 기존의 LLM 기반 또는 표 형식(Tabular) POMDP 학습 방식보다 우수한 성능을 보입니다.

핵심 포인트

• Pinductor는 언어 모델 사전 지식을 활용하여 POMDP 월드 모델 학습의 데이터 요구량을 줄입니다.
• LLM이 소수의 관측-행동 궤적만으로 후보 POMDP 모델들을 제안하고 정제하는 과정을 거칩니다.
• Pinductor는 높은 샘플 효율성을 보여, 기존 LLM 기반 및 표 형식(Tabular) 베이스라인을 능가합니다.
• 모델의 성능은 사용된 LLM의 능력에 비례하며, 환경의 의미론적 정보가 제한될 때 점진적으로 저하됩니다.