Open Dungeon: Gemma 4 QAT와 인라인 Uncen-FLUX 이미지를 사용한 로컬 역할극, 8GB RAM(OS)에서 최대
요약
로컬 환경에서 작동하는 Open Dungeon을 개발하여, Gemma 4 (QAT Q4)를 내레이터로 사용하고 FLUX 이미지를 현지 생성합니다. 이 시스템은 클라우드나 API 키 없이 완전히 프라이빗하게 구동되며, 대용량 컨텍스트(256k)에서도 낮은 RAM 점유율을 유지하는 것이 특징입니다.
핵심 포인트
- Gemma 4 (QAT Q4)를 활용한 완전 로컬 역할극 구현
- FLUX를 이용한 현지 이미지 생성 기능 통합
- 대용량 컨텍스트(256k)에서도 낮은 RAM 점유율 유지
저는 AI Dungeon 같은 것을 원했지만 완전히 로컬이고 실제로 프라이빗해야 했기 때문에 직접 만들었습니다. 내레이터는 Ollama를 통해 Gemma 4 (QAT Q4)이며, 보여줄 만한 장면이 있으면 FLUX를 사용하여 현지에서 그림도 그립니다. API 키도 없고, 클라우드도 없고, 아무것도 기기를 벗어나지 않습니다.
가장 놀라웠던 부분은 다음과 같습니다: 12B 모델을 최대 256k 컨텍스트로 구동해도 여전히 약 7.7GB의 RAM만 차지한다는 것입니다. 이는 Gemma 4가 KV 캐시를 거의 증가시키지 않기 때문입니다. 따라서 내레이터는 기본적으로 전체 이야기를 머릿속에 담아둘 수 있습니다. 스크롤되어 사라지는 이전 장면들은 요약된 실행 요약으로 접혀서, 1장에서 무슨 일이 일어났는지 절대 잊지 않습니다.
예상대로 작동합니다: Do / Say / Story 모드, Continue, Retry, Erase, 모든 줄 편집이 가능합니다. UI에서 원하는 모델을 선택하면 RAM 비용을 미리 보여줍니다.
릴리즈 버전에서는 Mac용 원클릭 빌드가 가능하거나 소스에서 실행할 수 있습니다. MIT 라이선스로 배포하며, 사람들이 이것을 분석하고 빠진 부분이 무엇인지 알려주기를 바랍니다.
https://github.com/newideas99/open-dungeon
제출자: /u/akroletsgo
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기