Android에서 Hermes 사용 후기 (Graphene OS)
요약
Graphene OS 환경에서 Hermes를 구동한 후기를 공유하며, 원격 게이트웨이와 로컬 LLM(Llama.cpp, Qwen 3.6 35b)을 결합한 고성능 세팅을 소개합니다. 휴대용 GPU와 eGPU 조합으로 높은 프롬프트 및 생성 처리 속도를 달성했으며, 전체 시스템이 100% 로컬로 작동하는 점을 강조했습니다.
핵심 포인트
- Graphene OS에서 Hermes를 매끄럽게 구동 가능하며 음성 받아쓰기 기능도 우수함.
- 휴대용 GPU(5070ti)와 eGPU(RTX 3090) 조합으로 높은 성능을 달성함.
- 2500 tps의 프롬프트 처리 속도와 80-150 tps의 생성 속도를 기록함.
- 전체 시스템이 로컬에서만 작동하여 보안성과 독립성을 확보함.
Graphene OS의 네이티브 Debian 터미널에서 Hermes를 구동해 봤는데 정말 매끄럽네요. 음성 받아쓰기 기능도 놀라울 정도예요. 백엔드로는 노트북에 있는 원격 Hermes 게이트웨이를 사용하고 있고, 여기서는 Llama.cpp와 Qwen 3.6 35b 모델을 쓰고 있어요. 휴대용 5070ti를 TB5를 통해 RTX 3090 eGPU와 연결해서 약 34GB의 VRAM을 확보했어요. mtp로 2500 tps의 프롬프트 처리 속도와 80-150 tps의 생성 속도를 얻었습니다. 제 생각엔 정말 굉장한 세팅이에요. 가볍고 빠르죠. 그리고 100% 로컬입니다. 단순히 가능한 것들을 보여주고 Hermes GUI가 휴대폰에서 얼마나 멋지게 보일 수 있는지 보여드리고 싶었어요. 저는 Razer Core X V2를 사용하고 있어요. 안타깝게도 Linux에서는 작동하지 않았지만, Windows 11에서는 아주 잘 작동합니다. 이전에 3090 두 개짜리 대형 데스크톱 타워가 있었는데, 어떤 이유에서인지 5070ti와 TB5 조합이 더 빠르네요. /u/Dismal-Effect-1914 제출 [링크] [댓글]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기1