AndroLLM: Android용 온디바이스 AI 플랫폼

Android에서 로컬 .litertlm 모델 추론, Google의 LiteRT-LM 런타임, CPU 및 GPU 가속, 클라우드 제공업체 통합, 영구 메모리, 핸즈프리 음성 상호작용을 하나의 통일된 애플리케이션으로 구현하는 프로덕션급 AI 플랫폼입니다.

강력한 언어 모델을 기기에서 직접 실행하세요.

클라우드 의존성 제로. 사용자가 원하지 않는 한 데이터는 휴대폰을 벗어나지 않습니다.

주요 기능 ·
AI 에이전트 ·
아키텍처 ·
시작하기 ·
음성 ·
클라우드 ·
메모리 ·
문서 ·
기여하기

introduction.mp4

YouTube에서 시청하거나

대부분의 모바일 AI 앱은 모든 것을 클라우드를 통해 라우팅하거나 가벼운 데모 형태로 배포됩니다. AndroLLM은 완전하고 프로덕션 품질의 제품입니다:

|
Run
|
지원 기기에서 OpenCL 기반 LiteRT GPU delegate를 통해 하드웨어 가속 추론을 수행하며, CPU (XNNPACK)는 항상 사용 가능합니다.
|
|
통합된 LiteLLM 프록시 레이어를 통해 모든 OpenAI 호환 API에 연결할 수 있습니다.
|
대화 간 사실 기억 — 로컬 또는 클라우드 임베딩을 통해 지원합니다.
|
|
별도의 장치 없이 상호작용이 가능합니다.

JUnit 4 · mockk · Turbine · Espresso | 19개 모듈에 걸친 51개의 테스트 클래스 |
코드 품질 (Code Quality) | Spotless · Detekt | 포맷팅 및 정적 분석 |

# 레포지토리 클론하기
git clone https://github.com/ShadowSafin/AndroLLM.git
cd AndroLLM
...

📖 전체 빌드 가이드 · 개발 워크플로우 (Full Building Guide · Development Workflow)

arm64-v8a 장치에 APK 설치하기 (RAM 4GB 이상 권장) Google 또는 GitHub로 로그인하기 (선택 사항 — 게스트 모드로도 완벽하게 작동) 카탈로그(Catalog) 탭에서 모델 둘러보기 — 기기 RAM별 필터링 모델 다운로드 및 로드하기 (Qwen3-0.6B mixed int4, 약 475MB가 좋은 시작점입니다) 채팅 시작하기 — 메시지가 실시간으로 스트리밍되며 마크다운(markdown) 렌더링이 지원됩니다 설정(Settings) → 음성 비서(Voice Assistant)에서 음성 활성화하고 "Hey Andro"라고 말하기 에이전트 잠금 해제하기 — 설정(Settings) → 자동화(Automation)에서 도구 호출(Tool Calling)을 활성화하고 다단계 요청을 시도해 보세요.

인터넷 연결 불필요한 완전한 오프라인 음성 파이프라인:

[마이크 @ 16kHz]
│
▼
...

지원되는 음성 명령어: 음소거(mute), 음소거 해제(unmute), 말하기 중지(stop speaking), 새 채팅 시작(new chat), 설정 열기(open settings), 모델 열기(open models), 테마 전환(switch theme), 대화 삭제(delete conversation), 채팅 요약(summarize chat), 오프라인 모드 및 음성 활성화/비활성화.

구두 확인 (Spoken confirmations) — 고위험 작업의 경우 비서가 소리 내어 질문하고 예/아니오를 듣습니다("엄마에게 SMS 보내까요?") 다단계 구두 작업 (Multi-step spoken tasks) — 음성으로 실행되는 워크플로우는 채팅과 동일한 도구(tool) 워크플로우를 사용합니다. 스마트 TTS (Smart TTS) — LLM 출력은 발화 전에 정규화됩니다: 숫자, 날짜, 통화 단위, 단위, 수학 공식, 이모지, URL, 전화번호 및 어휘 목록 외 단어(

“오늘 날씨를 확인하고 비가 오면 엄마에게 문자 보내줘”
“GitHub에서 LiteLLM을 검색하고 최신 릴리스 내용을 요약해줘”
“블루투스를 켜고, 이어버드를 연결한 다음, 운동 플레이리스트를 재생해줘”

Your request
│
▼
...

설정(Settings) → 클라우드 제공업체(Cloud Providers)에서 LiteLLM과 호환되는 모든 엔드포인트를 추가하세요:

로컬 및 클라우드 모델을 위한 단일 공유 메모리 레이어 — 로컬에 저장되어 모든 향후 컨텍스트에 주입됩니다:

Conversation exchange (any model: local LiteRT or any cloud provider)
│
├──▶ 사실 및 선호도 추출 (write policy: persist / update / ignore)
...

오프라인에서 완벽하게 작동합니다. 임베딩이 사용 불가능할 경우 키워드/최신순 정렬로 폴백(fallback)됩니다. 수정 사항은 기존 사실을 덮어쓰기만 할 뿐 중복되지 않으며, 검색 실패 시 컨텍스트가 빈 상태로 떨어지므로 채팅이 끊기는 일이 없습니다. 작은 규모의 클라우드 모델은 압축된 블록을 받습니다.

📖 메모리 아키텍처 · 메모리 빠른 가이드

형식: .litertlm

(LiteRT-LM 엔진 파일 형식) — 주력이며 유일하게 실행 가능한 로컬 형식입니다. 카탈로그에는 Hugging Face와 ModelScope의 litert-community 레포지토리에서 Qwen, Gemma, DeepSeek 계열의 7가지 엄선된 모델(아키텍처: gemma3, gemma4, gemma-embedding, qwen2, qwen3)가 포함되어 있습니다.

자세한 내용은 PRIVACY.md와 SECURITY.md를 참조하십시오.

documentation/
├── getting-started/first-run.md # 설치 및 첫 사용 설정
├── ai/ # AI 엔진 내부 구조
...

세 가지 계층으로 구성된 34개의 Gradle 모듈:

AndroLLM/
├── app/ # 진입점, 내비게이션 호스트, 인증
├── core/ # 17개의 공유 라이브러리 모듈
...

기능 모듈은 서로가 아닌 core:* 모듈에만 의존합니다.

기능 모듈은 서로가 아닌 core:* 모듈에만 의존합니다.

모든 종류의 기여(버그 보고서, 문서 수정, 새로운 기능)를 환영합니다.

본 프로젝트는 Apache License 2.0에 따라 라이선스가 부여되었습니다. 자세한 내용은 LICENSE를 참고하십시오. 서드파티 컴포넌트 라이선스는 LICENSES.md에 나열되어 있습니다.

• LiteRT-LM — 온디바이스 LLM 추론 런타임 (Google AI Edge)
• LiteRT — 온디바이스 ML 런타임 (임베딩용 CompiledModel API)
• sherpa-onnx — 오프라인 음성 처리
• Jetpack Compose — 현대적인 Android UI
• Material 3 — 디자인 시스템
• Firebase Auth — 인증
• LiteLLM — 클라우드 제공업체 추상화
• Android Keystore — 안전한 키 저장소