당신이 설계한 방에서 탈출하는 로컬 LLM을 지켜보세요

안녕하세요!
WATCH MY ESCAPE를 위한 제 저장소(repo)를 공유하고자 합니다: https://github.com/cjami/watch-my-escape
이것은 당신이 지도를 설계하면 LLM이 그곳을 탈출하려고 시도하는 역방향 탈출 게임(inverted escape room game)입니다.
고전 어드벤처 게임처럼 가시적인 환경과 상호작용하기 위해 전통적인 동작 동사(예: 밀기(push), 당기기(pull), 집기(pick-up))를 사용합니다.
현재 5가지 모델 프리셋이 있습니다 (해당 모델로 탈출 게임을 실행할 때 다운로드됩니다):

Mellum 2
Nemotron Nano 4B
MiniCPM5 1B
Tiny Aya
Gemma 4 12B

모두 Q4_K_M 양자화 버전이므로 약 8GB의 VRAM에 적합할 것입니다. 4090, 3070 및 M1에서 테스트되었습니다.
설정 파일(config file)의 값을 변경하여 HF(Hugging Face)에 있는 어떤 모델로도 쉽게 구성할 수 있습니다: https://github.com/cjami/watch-my-escape/blob/main/src/watch_my_escape/llm/config.py
완전한 기능을 갖춘 맵 에디터(map editor)도 포함되어 있어, 원하는 무엇이든 만들고 모델을 테스트할 수 있습니다. 완전히 폰트 기반(font-based)이므로 사용 가능한 어떤 이모지(emoji)든 사용하여 사물을 표현할 수 있습니다. 또한 JSON을 통한 가져오기/내보내기(import/export)를 지원합니다.
여기서 사용된 주요 기술은 에이전트의 행동을 두 단계로 나누는 것입니다: '생각한 후 행동하기(Think then Act)' - 자유로운 추론 단계(reasoning step)를 거친 후 llama.cpp를 통해 문법 제약 행동 단계(grammar constrained action step)를 수행합니다. 이를 통해 구조화된 출력(structured output)이 필요한 게임 환경 내에서 소형 모델(small models)을 안정적으로 사용할 수 있습니다.
참고: 모델들이 공간적 추론(spatially reasoning)을 하는 것은 아니며, 단순히 하나의 가시적인 사물에서 다른 사물로 이동하는 것입니다 (그렇지 않으면 소형 모델들에게 과부하가 걸릴 것입니다).
빠른 설정 방법 (uv와 node.js 설치 필요):
git clone https://github.com/cjami/watch-my-escape.git
cd watch-my-escape
uv run watch-my-escape
설정 중에 하드웨어(metal, cuda, vulkan, cpu 또는 override를 통한 rocm)에 적합한 llama-cpp-python wheel을 자동으로 감지하고 설치할 것입니다.
이 프로젝트는 Hugging Face x Gradio의 'Build Small' 해커톤을 위해 일주일 동안 제작되었습니다.
다양한 LLM을 테스트하거나 자신만의 개인적인 벤치마크(benchmarks)를 만드는 데 사용해 보세요!

이 프로젝트가 향후 게임에서 LLM이 어떻게 사용될 수 있는지에 대한 엿보기를 제공할 수 있기를 바랍니다. :)
제출자: /u/cjami
[링크] [댓글]