구형 스마트폰을 리눅스 기반의 엣지 AI 서버로 재활용하기 (PostmarketOS / ARM64)

대부분의 개발자 및 하드웨어 애호가들은 서랍 속에 잊힌 구형 스마트폰을 가지고 있습니다. 과거 세대의 플래그십 휴대폰(Snapdragon 845 또는 Snapdragon 870으로 장착된 모델 등)은 다음 사양을 갖추고 있습니다:

• 빠른 LPDDR4X 메모리 6GB~8GB;
• 뛰어난 와트당 효율성을 가진 64비트 Octa-Core SoC;
• 빠른 UFS 플래시 스토리지;
• 내장 배터리 (UPS/네이티브 무정전 전원 장치): 정전 시 갑작스러운 종료를 방지합니다.

Android에서 Termux를 통해 도구를 실행하는 경우 종종 모바일 운영체제의 공격적인 _OOM killer_에 직면하지만, postmarketOS와 같은 실제 리눅스 배포판(Alpine Linux 기반)을 설치하면 휴대폰이 저전력의 베어메탈 마이크로 서버로 변신합니다.

본 기사에서는 ARM64 하드웨어에서 직접 Ollama 및 Small Language Models (SLMs)를 실행하는 로컬 추론 노드(Edge AI)를 설정하는 방법을 알아봅니다.

1. Android/Termux 대신 postmarketOS를 사용하는 이유?

Ollama는 aarch64 아키텍처와 호환되는 공식 빌드를 제공합니다. 설치는 공식 스크립트를 통해 수행할 수 있습니다:

curl -fsSL https://ollama.com/install.sh | sh

서비스가 로컬 사설 네트워크의 모든 인터페이스(또는 Tailscale 메쉬)에서 리스닝하도록 하려면, 서비스 환경 변수를 구성해야 합니다:

sudo systemctl edit ollama.service

다음 내용을 삽입합니다:

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_KEEP_ALIVE=24h"

서비스를 재시작합니다:

sudo systemctl daemon-reload
sudo systemctl restart ollama.service

4. Edge용 SLM 모델 선택 및 벤치마크

Snapdragon 845/870과 같은 칩에서는 1B에서 3B 매개변수 크기에 4비트로 양자화된(GGUF) 모델이 속도와 메모리 소비 사이의 이상적인 균형을 제공합니다:

# 코드 및 논리적 추론을 위한 초고속 모델 (RAM 약 1.2GB 소비)
ollama pull qwen2.5-coder:1.5b

...

성능 결과 (Snapdragon 845 / 6GB RAM):

• Qwen 2.5 Coder 1.5B (Q4_K_M): 초당 약 12~15 토큰.
• Llama 3.2 3B (Q4_K_M): 초당 약 7~9 토큰.
• 에너지 소비: 최대 추론 부하에서 3와트 미만.

결론 및 자료

기존 하드웨어를 재활용하는 것은 전자 폐기물을 줄이고 클라우드 비용 없이 24/7 사설 AI 인프라를 제공합니다. 스마트폰의 내장 배터리를 사용하면 전력 변동에 대한 완전한 내성까지 얻을 수 있습니다.

제 블로그에서 전용 하드웨어 및 미니 PC와의 비교가 담긴 심층 가이드를 확인하세요:

👉 Fymax Sentinel 전체 기사

버려진 구형 스마트폰이 있나요? 그곳에서 로컬 서비스를 실행하거나 네트워크 노드를 운영하는 것을 고려해 본 적이 있나요? 댓글을 남겨주세요!