NightRun 제작: USB 스틱에서 바로 로컬 LLM 부팅하기. OS 없이 UEFI 앱만으로 구동 (x86-64 + Raspberry Pi
요약
OS나 커널 없이 Rust로 작성된 UEFI 앱만으로 USB 스틱에서 로컬 LLM을 직접 부팅하는 기술을 소개합니다. Llama 3.2, Qwen3 등 표준 GGUF 모델을 지원하며 Raspberry Pi 5에서도 구동 가능합니다.
핵심 포인트
- 커널 없는 Rust 기반 UEFI 앱으로 LLM 구동
- Llama 3.2, Qwen3, Granite 등 다양한 모델 지원
- llama.cpp와 유사한 디코딩 성능 구현
- Claude Code를 활용한 저수준 코딩 에이전트 성능 검증
Linux도, 커널도 없습니다. 단 하나의 Rust UEFI 앱만 있으면 됩니다: USB에 플래싱하고 부팅하면, CPU에서 Llama 3.2 1B, Qwen3 4B, 또는 Granite 4.1 3B와 대화할 수 있습니다. SD 카드로부터 Pi 5에서도 실행됩니다. 표준 GGUF 파일을 사용하며, llama.cpp 속도와 거의 유사하게 디코딩(decode)됩니다. 출력 결과는 llama.cpp와 토큰 단위로 대조하여 검증되었습니다. SIMD 커널과 펌웨어(firmware) 부분을 포함하여 대부분의 코드는 Claude Code (Fable 5)를 사용하여 작성되었습니다. 저는 코딩 에이전트(coding agent)가 이러한 종류의 저수준(low-level) 작업에서 어디까지 도달할 수 있는지 확인하고 싶었습니다. submitted by /u/centoslinux [link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0