USB 스틱에 담긴 휴대용 AI
요약
Python, Ollama, 가상 환경을 결합하여 x86_64 Linux에서 실행 가능한 340MB 크기의 휴대용 AI 에이전트 패키지 구성 방법을 소개합니다. 시스템 의존성 없이 USB 스틱만으로 AI 런타임을 구동할 수 있는 구조를 제안합니다.
핵심 포인트
- GPU 라이브러리 제거를 통해 패키지 크기 최적화
- 시스템 Python 없이 작동하는 독립형 venv 번들링
- 상대 경로 사용으로 다양한 마운트 지점 지원
- 메모리, 도구, HTTP API를 포함한 완전한 에이전트 런타임 구현
USB 스틱에 담긴 휴대용 AI
Python, Ollama, 그리고 메모리를 하나로 묶어 모든 x86_64 Linux 머신에서 실행 가능한 340MB 크기의 독립형(self-contained) 패키지로 AI 에이전트를 구성합니다.
구조
norax-portable/
├── norax.sh # 런처 (Launcher)
├── python/ # 독립형 가상 환경 (venv) (252MB)
...
주요 결정 사항
- CPU 전용 Ollama — GPU 라이브러리를 제거하여 5GB를 절약함
- 번들링된 venv — 시스템 Python이 필요 없음
- 상대 경로 (Relative paths) — 어떤 마운트 지점에서도 작동함
- 첫 실행 시 모델 다운로드
결과
- 메모리, 도구(tools), HTTP API를 포함한 완전한 에이전트 런타임
- Ollama 추론 (CPU 모드)
- 세션 간 메모리 지속성 (Memory persistence)
- 시스템 의존성 불필요
휴대용 AI는 오늘날 바로 가능합니다. 런타임을 번들링하고, GPU 라이브러리를 제거하며, 상대 경로를 사용하세요.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0