Carnegie Mellon, 무료 Android 앱으로 OpenAI의 Vision API를 대체하다
요약
Carnegie Mellon의 Apache TVM 팀이 개발한 MLC Chat을 통해 Android 기기를 OpenAI Vision API와 호환되는 로컬 LLM 서버로 변환할 수 있습니다. 이를 통해 비용을 절감하고 오프라인 환경에서도 시각 기능이 포함된 모델을 실행할 수 있습니다.
핵심 포인트
- Android 기기를 OpenAI 호환 Vision API 서버로 활용 가능
- Nvidia GPU 대비 압도적으로 낮은 전력 소모량
- Qwen2-VL, Llama-3.2-Vision 등 최신 모델 지원
- 모델 다운로드 후 인터넷 연결 없는 100% 오프라인 작동
Carnegie Mellon이 서랍 속에 있는 휴대폰에서 실행되는 무료 Android 앱을 통해 OpenAI의 Vision API를 무력화했습니다.
Apache TVM 팀의 MLC Chat은 Play Store에서 제공되는, 시각 기능(vision)을 갖춘 OpenAI 호환 LLM 서버로 모든 Android 기기를 변환합니다. 별점 1.8만 개, 베타 버전 아님, 익명의 개발자 아님.
전력 계산:
→ 오래된 Pixel 기기에서 MLC Chat 실행 시: 약 5-10 와트 (watts)
→ Nvidia 4090 본체: 유휴 상태(idle)에서 300W 이상
→ OpenAI Vision API: 이미지당 $0.02, 지속적으로 과금됨
내 서랍 속 Pixel 6에서 측정한 실제 수치:
→ Qwen2-VL 1.7B: 초당 40 토큰 (tokens/sec)
→ Llama-3.2-Vision 쿼리: 3-5초
→ 4시간 추론 (inference) = 배터리 35% 소모
→ 모델 다운로드 후 100% 오프라인 작동
설정 방법:
→ Play Store → MLC Chat → 설치
→ 앱 내에서 모델 선택 (시각 기능을 위해 Qwen2-VL 선택)
→ Settings → Enable REST server → 휴대폰 IP 복사
→ 모든 OpenAI 클라이언트의 접속 주소를 http://phone-ip:8080 으로 설정
유용했다면 - 좋아요 + 북마크 부탁드립니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @seelffff (오픈소스/자동화)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기