PAN 2를 소개합니다. 물리적 지능을 위한 개방형 파운데이션 월드 모델입니다.
언어 모델은 다음 단어를 예측합니다. PAN 2는 시간, 물리학, 공간에 기반하여 각 행동 후에 무슨 일이 일어날지, 즉 다음 세계를 예측합니다.
행동하기 전에 “만약 ~라면?”을 시뮬레이션하는 방향으로 나아가는 인공지능(AI)을 지향합니다.
더 자세한 정보:
https://ifm.ai/pan/
PAN 2는 생성적 잠재 예측(Generative Latent Prediction, GLP) 방식을 사용합니다.
이는 두 단계로 추론을 수행합니다. 개념적 추론 백본 역할을 하는 사전 학습된 멀티모달 LLM이 무엇이 언제 일어날지 계산하고, 처음부터 훈련된 29B 잠재 확산 모델(latent diffusion model)인 감각적 추론 백본은 그것이 어떻게 될지를 채워 넣습니다.
PAN 2는 weights, 학습 코드 및 추론 코드를 포함하여 Apache 2.0 하에 공개되어 있습니다.
vLLM, Hugging Face Diffusers 또는 FastVideo를 사용하여 자체 장치에서 다음 세계를 예측하거나 직접 학습할 수 있습니다.
• 학습 코드:
https://github.com/ifm-ai/PAN2
• vLLM:
https://github.com/vllm-project/vllm-omni/tree/main/recipes/IFM/PAN2.md
…
• Hugging Face
PAN 2는 시간적 기반(grounded in time)을 갖추고 있습니다.
타이밍과 순서는 결과에 영향을 미칩니다. PAN 2는 설정된 타이밍과 순서에 따라 무슨 일이 일어날지 시뮬레이션하며, 각 단계는 이전 단계를 기반으로 구축됩니다.
이것이 에이전트의 결정을 안내할 수 있는 다단계 시뮬레이션의 기초가 됩니다: 에이전트는 오직...
PAN 2는 물리학적 기반(grounded in physics)을 갖추고 있습니다.
그 세계는 물리 법칙을 따르고, 실제 세계의 제약을 존중하며, 자체적인 생명력을 가집니다.
아래: 우유, 잉크, 기름이 각각 물 한 병에 추가됩니다. 우유가 흐려지고, 잉크가 가라앉아 퍼지며, 기름은 떠오릅니다.
PAN 2는 단순히 그림을 그리는 것이 아니라 세계를 시뮬레이션합니다.
PAN 2는 공간적 기반(grounded in space)을 갖추고 있습니다.
카메라를 움직여도 보이는 세계가 변하지 않습니다. 물체들은 가려지거나 시야에서 벗어날 때조차 자신의 정체성과 상태를 유지합니다.
에이전트는 자신이 등을 돌릴 때마다 재배열되는 세계에서는 계획할 수 없습니다.
아래: 아이가 블록 두 개를 쌓은 다음