GDScript와 Vulkan compute shaders만을 사용하여 Godot 내부에서 Gemma 4 실행하기
요약
Godot 엔진과 GDScript, Vulkan compute shaders만을 활용하여 Gemma 4와 같은 LLM을 로컬에서 구동하는 실험적인 프로젝트가 소개되었습니다. 이 시스템은 GGUF 파일을 로드하고, 토큰화, 샘플링, KV 캐시 관리 등 핵심 기능을 Godot 내부에서 처리합니다.
핵심 포인트
- Godot 엔진만으로 LLM 구동 가능성을 입증함.
- Vulkan compute shaders로 모델 계산을 수행함.
- GDScript가 전체 파이프라인(토큰화, 샘플링 등)을 담당함.
- CUDA 기반 llama.cpp 대비 속도는 느리지만 구현 자체가 흥미로움.
llama.cpp, Python, 서버 또는 GDExtension 없이도 LLM을 Godot 내부에 구동할 수 있는지 확인해 보고 싶었습니다. 작동합니다. 이 Godot 4.7 프로젝트는 gemma-4-E2B-it-Q4_K_M.gguf를 로컬에서 실행합니다. 모델 계산은 Vulkan compute shaders에서 수행되며, GDScript가 GGUF 로딩, 토큰화(tokenization), 샘플링(sampling), KV 캐시(KV cache), 그리고 채팅 UI(chat UI)를 처리합니다. 이것은 단지 실험일 뿐입니다. 이 하나의 모델만 지원하며, CUDA를 사용하는 llama.cpp보다 약 10배 느립니다. 그럼에도 불구하고, Godot만을 사용해서 이게 가능하다는 점이 흥미로웠습니다. 코드: https://github.com/asallay/godot-llm /u/toxicdog 제출 [링크] [댓글]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0