저희는 오프라인 우선(offline-first) LLM 채팅 앱을 Google Play에 출시했습니다. 모든 것이 Google의 LiteRT-LM 런타임(com.google.ai.edge.litertlm:litertlm-android)으로 기기 내에서 실행됩니다 — 서버가 없고, 계정이 없으며, 데이터가 휴대폰 외부로 나가지 않습니다. 실제로 프로덕션 환경에서 무엇이 고장 났고 어떻게 수정했는지 알려드립니다.
1. GPU delegate가 앱을 종료시킬 수 있습니다
가장 당연한 방법은 "GPU를 활성화하면 더 빠르다"는 것입니다. LiteRT-LM ≤0.17 버전에서 GPU delegate는 모델 크기보다 한 자릿수(order of magnitude) 높은 RSS를 할당합니다 — 저희가 Galaxy S24 Ultra의 0.8B int4 모델에 대해 측정했을 때 약 11 GB의 상주 메모리(resident)를 사용했습니다. lmkd가 포그라운드에서 앱을 종료시킵니다.
해결책: CPU가 모든 기기의 기본값입니다. GPU는 선택적("experimental") 스위치이며, 두 가지 폴백 레이어(fallback layers)를 추가합니다:
- 초기화 시간(init-time): GPU로
Engine 생성 시 예외가 발생하면 CPU로 재시도합니다.
- 생성 시간(generation-time): 알려진 GPU 마커로 추론(inference)에 실패하면 영구적인
force_cpu 플래그를 전환하고 재시도합니다.
2. dlopen("libOpenCL.so")는 드라이버가 존재해도 Android 12+에서 실패합니다
Samsung/One UI (Vulkan 전용 GPU)에서는 런타임에 Can not find OpenCL library 오류와 함께 GPU 경로가 중단됩니다. 기기에는 라이브러리가 존재합니다 — /vendor/etc/public.libraries.txt에 있습니다 — 하지만 드라이버는 앱 네임스페이스에서 사용할 수 없는 사적인 종속성(private dependencies)을 가지고 있습니다.
AndroidManifest.xml에서의 해결책:
<uses-native-library android:name="libOpenCL.so" android:required="false"/>
<uses-native-library android:name="libOpenCL-car.so" android:required="false"/>
<uses-native-library android:name="libOpenCL-pixel.so" android:required="false"/>
required="false" 선언 없이는 라이브러리가 없는 기기에는 앱이 설치되지 않습니다.
3. 단순한 채팅 템플릿은 JSON을 컨텍스트에 직렬화합니다
LiteRT-LM SDK는 메시지 내용을 parts 배열로 전달하며, 엔진은 모델의 응답을 다중 부분 콘텐츠(multi-part content)로 저장합니다. content is string 분기가 없는 템플릿들 (huihui-family 파인튜닝이 일반적인 용의자입니다)은 원시 JSON을 대화에 직접 덤프합니다:
[{"type":"text","text":"…"}]
다음 턴에서 컨텍스트가 오염되어 프롬프트를 그대로 반사합니다.
수정 방법은 두 가지 계층으로 나뉩니다:
- 세션 생성 시: 파트를 반복하고
text 필드를 결합하는 parse_content 매크로를 사용하여 임베디드 템플릿의 콘텐츠 안전(content-safe) 복사본을 만듭니다. 이를 ConversationConfig.chatTemplate에 대체합니다.
- 싱크(sink)에서: Room에 영구 저장하기 전에 이미 생성된 텍스트에서
[{"type":"text",…}] 엔벨로프를 언래핑하는 새니타이저를 실행해야 합니다.
영향을 받는 모델에 대해 실제 다중 턴(multi-turn) 테스트를 수행하여 확인하십시오. 이 버그는 저장된 메시지가 컨텍스트에 다시 진입하는 3턴 이상에서만 나타납니다.
4. .litertlm 번들은 버전 취약성이 있습니다 (version-fragile)
번들은 SDK 0.13.1용으로 내보낸 것이 0.16.1에서 실행되지 않았습니다: prefill work group size exceeds available state entries. 이는 GPU와 CPU 모두에서 발생했습니다. 새로운 런타임(runtime)을 위해 모델 카탈로그 전체를 재변환해야 했습니다. 모델 JSON에 minRuntimeVersion 필드를 유지하고, 번들 재생성을 사후 작업이 아닌 SDK 업데이트의 일부로 간주하십시오.
좋은 소식은 다음과 같습니다: xnnpack 가중치 캐시(weight caches)는 이식성이 뛰어나다는 것입니다. 동일한 모델 파일(mtime + size 식별자)을 사용하고 장치가 다르더라도 캐시는 여전히 유효합니다. 저희가 캐시를 제공하지 않지만, 사용자들의 두 번째 기기 초기화 과정은 첫 다운로드 및 컴파일보다 빠릅니다.
5. Engine / Conversation은 스레드 안전하지 않습니다 (not thread-safe)
모든 것을 직렬화(serialize)해야 합니다. 스트리밍 중 발생하는 모든 동시 네이티브 호출(concurrent native call)은 use-after-free → SIGSEGV 위험을 초래합니다. 저희는 모든 네이티브 상호작용—initializeModel, prepareConversation, generateResponseStream, closeModel, 심지어 제목 생성까지—을 단일 Mutex 아래에 래핑했습니다. 진행 중인 네이티브 작업(in-flight native ops)의 AtomicInteger가 유휴 자동 언로드 타이머를 제어하여 엔진이 스트리밍 도중에 종료되는 것을 방지합니다.
보너스: 턴 간에 활성 Conversation을 재사용하십시오. 저희는 추가 전용 히스토리 성장(시드된 파라미터 + 네이티브 턴 수 + 래핑된 프롬프트의 접미사 확인)을 검증하고 세션 재구성을 건너뜁니다. 따라서 프리필(prefill)은 전체 히스토리가 아닌 새로운 토큰에 대해서만 실행됩니다.
알아두면 좋은 수치들 (측정됨, 장치 및 런타임 명시)
- 0.8B 워밍업 초기화(warm init): Snapdragon S20급 기기에서 약 40초, 200달러짜리 Nord N200에서 약 98초 소요
- 4B 워밍업 초기화(warm init): 약 168초 소요
- 초기화 시간은 사용자가 작성한 Kotlin 코드가 아니라, 네이티브 LITERTLM 컨테이너 로드 단계에서 발생합니다.
안드로이드에서 온디바이스(on-device) AI를 구축하고 계시다면, 경험을 공유하고 싶습니다. 저는 또한 LocalClaw(오프라인 에이전트 런타임)와 LocalAI(위에 설명된 채팅 클라이언트)를 구축하고 있습니다. 둘 다 무료이며 계정 가입이 필요 없습니다.
모든 측정값은 기기에서 검증되었으며; 런타임 버전: litertlm-android 0.16.1–0.18.0, 최소 SDK(minSdk) 26, 목표 SDK(targetSdk) 36입니다.