포켓몬 레드 플레이 가능한 확산 세계 모델과 게임 에이전트 하네스 구축에 관한 연구

1. 월드 모델: 신경망(neural net)이 꿈꾸는 게임입니다. 이 신경망은 이미지 생성기(image generators)와 같은 계열인 확산 모델(diffusion model)이며, 녹화된 플레이를 통해 포켓몬 레드 프레임을 하나하나 학습했습니다. 마지막 4개 화면과 버튼 누름을 입력하면 다음 화면을 그려냅니다. 파라미터는 16.7M개이고, 해상도는 72×80 그레이스케일이며, DIAMOND 스타일의 EDM U-Net 구조를 사용했습니다. 왼쪽은 실제 에뮬레이터이고, 오른쪽은 모델이 동일한 버튼 누름으로부터 같은 순간을 꿈꾸어 그려내는 모습입니다. 10단계마다 4개의 실제 프레임으로 재동기화되며, 그렇지 않은 경우에는 자체적으로 구동됩니다. 키보드를 이용해 꿈속 세계를 돌아다닐 수 있습니다.
2. 게임 에이전트 하네스: 크래프톤의 PUBG Ally가 사용한 것과 동일한 시스템 1/시스템 2 분할 구조입니다. 즉, 빠르고 반응적인 레이어와 느리고 사고하는 레이어로 구성되어 있습니다.

• 시스템 2 (계획자/planner): 게임의 RAM을 읽고 다음 목표(레벨 14까지 성장하기, 회복하기, 이동하기, 체육관)를 선택할 수 있으며, 정보 검색(포켓몬 도감, Bulbapedia 가이드 검색 등)도 가능합니다. 모든 결정은 실행되기 전에 게임 메모리를 통해 검증됩니다. 기본적으로 규칙에 따르거나 로컬 LLM을 사용합니다.
• 시스템 1 (실행자/executor): 각각 1.58M 파라미터를 가진 열 가지의 작은 이동 정책(walking policies)으로, 실제 게임 단계 없이 오직 월드 모델의 상상 속에서만 완전히 학습된 후 실제 게임에 투입됩니다. GIF는 계획자로 작동하는 로컬 LLM입니다. 제가 테스트한 6개의 로컬 LLM 중 5개가 배지 10/10점을 받았으며, 가장 성능이 좋은 것은 수동으로 작성한 규칙(8,779.5회 버튼 누름) 대비 중간값 7,144.5회의 버튼 누름을 필요로 했습니다. 아키텍처 카드는 그 앞 슬라이드(또는 비디오 게시물의 첫 번째 댓글)에 있습니다.

3. 업스케일러 + 컬러라이저: 72×80 그레이스케일 게임을 시청 가능하게 만듦
   모델은 작은 그레이스케일 프레임으로 작동하기 때문에, 이를 시각화하기 위해 두 개의 작은 신경망을 추가로 학습시켰습니다. 업샘플러(upsampler) (72×80 → 144×160, 0.72M 파라미터)와 픽셀별 컬러라이저(per-pixel colorizer) (1.91M 파라미터, 제외된 프레임에서 99.27%의 색상 정확도)입니다. 각각 25분씩 학습 시간이 소요되었습니다. 클립은 게임의 지도 데이터를 이용해 Blender로 재건축한 첫 번째 마을과 복원된 화면을 보여줍니다.
4. 비용 및 성과: 집에서 RTX 4090 한 대를 사용하여 총 50.0 GPU-시간 동안 학습했습니다.

하네스(harness)는 레벨링(grinding), 회복 및 가이드 검색을 담당하고, 세계 모델 정책(world-model policies)은 이동을 수행하며, 실제 게임에서 첫 번째 체육관 배지(gym badge)를 30/30회 실행 중 승리합니다. 전투는 아직 해결되지 않았습니다. 꿈(the dream)이 대부분의 경우 배틀을 일찍 종료시키기 때문에, 이 부분은 현재 스크립트로 유지됩니다. 코드, 가중치(weights), 그리고 전체 쇼케이스(2분짜리 비디오, 챕터, 출처가 명시된 모든 수치)는 댓글에 연결되어 있습니다. 추신: 저는 의료 에이전트(medical agents)와 풀 스택(full stack) 분야에서 일하며, 이것은 단지 학습을 위한 프로젝트일 뿐입니다(: 측정 부분이 ICLR 워크숍에서 통할 수 있을지 궁금합니다. 무엇을 추가로 보고 싶으신가요? 제출자: /u/priyanshu123sah [링크] [댓글]