Jetson Orin Nano에서 구동하는 Gemma 4 VLA 데모 구현 가이드

요약

본 문서는 NVIDIA Jetson Orin Nano Super 환경에서 대규모 언어 모델(LLM)인 Gemma 4를 활용한 시각-언어-청각(VLA: Vision-Language-Audio) 데모를 구현하는 상세 가이드입니다. 사용자는 마이크 입력(STT)을 통해 질문하고, Gemma 4가 웹캠 이미지 분석 및 추론을 거쳐 답변하며, 최종적으로 TTS 엔진(Kokoro)을 통해 음성으로 출력되는 전체 파이프라인을 구축합니다. 특히 이 모든 과정이 Jetson Orin Nano의 제한된 리소스 환경에서 원활하게 작동하는 것이 핵심이며

핵심 포인트

• VLA 데모는 사용자의 질문(STT) → Gemma 4 추론 (필요시 웹캠 이용) → 답변 생성 → TTS 출력(Kokoro)으로 이어지는 완전한 로컬 파이프라인입니다.
• 하드웨어 요구 사항은 NVIDIA Jetson Orin Nano Super와 기본적인 USB 주변 장치들로 구성되며, 모든 처리가 기기 내부에서 이루어집니다.
• 성능 최적화를 위해 `llama.cpp`를 네이티브로 빌드하고, 모델 가중치(Gemma 4)와 비전 프로젝터(`mmproj`) 파일을 다운로드하여 서버를 구동해야 합니다.
• 제한된 RAM 환경을 고려하여 스왑 파일 설정 및 불필요한 프로세스 종료 등의 시스템 최적화 단계가 필수적으로 포함됩니다.