안녕하세요, 저는 휴대폰에서 로컬 AI를 실행하기 위한 안드로이드 프로젝트인 AI Doomsday Toolbox를 다시 작업해 왔으며, 이제 프로젝트가 Play Store에서도 정식으로 이용 가능해짐에 따라 최신 버전을 공유하고자 합니다 (이 글을 쓰는 시점에는 Play Store에서 0.948 버전을 승인하기를 기다리는 중이라 아직 Play Store에 이 변경 사항들이 반영되지 않았습니다). 이번 업데이트의 가장 큰 새로운 기능은 분산 이미지/비디오 생성(distributed image/video generation)입니다. 이전에도 ADT는 이미 분산 LLM 추론(distributed LLM inference) 기능을 갖추고 있어, 여러 안드로이드 기기에 걸쳐 더 큰 로컬 모델을 실행하는 실험을 할 수 있었습니다. 이제 stable-diffusion.cpp를 통한 Stable Diffusion 분산 추론(distributed inference) 기능도 추가하여, 동일한 개념이 이미지 및 비디오 생성에도 적용되기 시작했습니다. 지난 업데이트 이후 주요 추가 사항은 다음과 같습니다:

분산 Stable Diffusion / 이미지 생성
이제 이미지 생성 실험을 위해 동일한 네트워크 상의 여러 안드로이드 기기를 사용할 수 있습니다. 앱은 stable-diffusion.cpp를 위한 마스터/워커(master/worker) 설정을 갖추고 있으며, 앱 내부에서 워커 설정을 할 수 있습니다. 이는 아직 실험적 단계이지만, "오래된 휴대폰을 작은 AI 클러스터로 만들기"라는 아이디어를 훨씬 더 현실적으로 만들어 주기 때문에 현재 제가 가장 기대하고 있는 기능입니다.

새로운 백엔드(backend) 및 런타임(runtime) 옵션
Stable Diffusion 및 llama.cpp 백엔드, 백엔드 파라미터(parameters), 최대 VRAM, 그리고 순차적 모델 로딩(sequential model loading)을 위한 새로운 제어 옵션이 추가되었습니다. 또한 지원되는 기기에서 llama.cpp 및 stable-diffusion.cpp를 위한 초기 실험적 GPU 가속(GPU acceleration) 옵션도 추가했습니다.

네이티브 llama 호출 모드
네이티브 llama 채팅 측면에 백그라운드 TTS 지원을 포함한 새로운 호출 모드가 추가되어, 앱을 단순한 채팅창이 아닌 로컬 어시스턴트(local assistant)처럼 더 많이 사용할 수 있습니다.

더 나은 모델/다운로드 관리
만료된 다운로드와 공간을 차지하는 절반만 다운로드된 모델 파일 문제를 수정했으며, 일부 모델/런타임 관리 흐름을 개선했습니다.

기타 수정 및 안정화 작업
분산 추론 옵션, 전원 잠금(power locks), 장시간 실행되는 호출, 그리고 릴리스/빌드 관련 문제들에 대한 수정이 이루어졌습니다.

기타 추가 사항: 비디오 더빙 (Video dubbing), 비디오 자막 생성 및 번역, 실시간 번역기 (live translator), 가장 자주 사용하는 도구와 채팅을 고정할 수 있는 도구 검색창 (tool search bar) 등이 추가되었습니다. 앱에는 이전에 게시했던 기존 기능들도 여전히 포함되어 있습니다: 로컬 LLM (local LLMs), Whisper 전사 (Whisper transcription), 워크플로우 (workflows), PDF/비디오 요약, 데이터셋 생성 (dataset creation), Ollama 매니저 (Ollama manager), Termux/proot 도구, AI 에이전트 워크스페이스 (AI agent workspace), 로컬 이미지/비디오 생성, 오프라인 지식 도구, 그리고 Tama 펫 시스템입니다. 핵심 아이디어는 여전히 동일합니다: 안드로이드 기기, 특히 서랍 속에 방치될 수 있는 오래된 휴대폰들을 로컬 AI 용도로 유용하게 만드는 것입니다. GitHub Wiki / 가이드 Play Store 피드백은 언제나 환영하며, 특히 분산 이미지 생성 (distributed image generation) 측면을 테스트해 보시는 분이 있다면 더욱 감사하겠습니다. 많은 노력이 들어갔고 여전히 다듬어지지 않은 부분들이 있겠지만, 이 프로젝트가 제가 원했던 기묘하고 작은 안드로이드 AI 클러스터 (Android AI cluster)에 점점 가까워지고 있다고 생각합니다 하하하. /u/ManuXD32 제출 [link] [comments]