대형 서비스 제공업체 대신 휴대폰에서 AI 사용하기
요약
이 글은 대형 서비스 제공업체 대신 휴대폰에서 AI를 로컬로 구동하는 방법을 안내합니다. Llama.cpp와 Openwebui를 백엔드 및 프론트엔드로 설정하고, Tailscale을 이용해 휴대폰에서 접근할 수 있도록 하는 실용적인 가이드입니다.
핵심 포인트
- Llama.cpp와 Openwebui를 사용하여 로컬 AI 환경 구축 가능
- Tailscale을 활용하여 외부(휴대폰)에서도 로컬 AI에 접속 가능
- unsloth 설정을 통해 Qwen 3.6 같은 대형 모델도 구동 가능
- 로컬 환경에서 에이전트 작업까지 시도할 수 있음
휴대폰에서 로컬로 사용할 수 있는 간단한 설정 방법을 공유하고 싶었습니다: LOCAL COMPUTER에 Llama.cpp 백엔드를 호스트 0.0.0.0, 포트 8080으로 실행하고 Openwebui를 호스트 0.0.0.0, 포트 8081로 호스팅하세요. 로컬 모델 검색을 활성화하세요. 휴대폰에서 연결하려면 Tailscale을 사용하세요! 24GB VRAM에 대한 비법은 다음과 같습니다: unsloth에서 적절한 설정을 사용하여 Qwen 3.6을 instruct/non thinking 모드로 실행하는 것입니다. 이제 여러분은 Google AI 모드 등을 대체했습니다. 물론 opencode 등도 터미널을 통해 실행할 수 있지만, 지금 당장은 에이전트적인 작업(agentic stuff)에 대해서는 많이 다루지 않습니다. /u/GodComplecs가 제출함 [link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 Reddit AI Engineering의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0