PatchWorld: 실행 가능한 월드 모델의 그래디언트 프리 (Gradient-Free) 최적화

요약

PatchWorld는 오프라인 궤적을 실행 가능한 Python 월드 모델로 변환하는 그래디언트 프리 프레임워크입니다. 블랙박스 예측 대신 상징적 믿음 상태 프로그램을 유도하여 에이전트의 계획 능력을 향상시킵니다. 실험 결과, LLM 호출 없이도 높은 계획 성공률을 기록하며 관측 충실도와 의사결정 효용 간의 트레이드오프를 발견했습니다.

핵심 포인트

• 오프라인 궤적을 실행 가능한 Python 코드로 변환하는 프레임워크 제안
• LLM 호출 없이도 높은 코드 기반 계획 점수 달성
• 관측 충실도와 의사결정 효용 사이의 트레이드오프 확인
• 반례 유도 코드 수정을 통한 그래디언트 프리 최적화 방식 사용