iPhone에 채팅 모델과 이미지 모델을 구현하며 배운 점

안녕하세요 DEV 독자 여러분, 저는 Nathan입니다. 저는 iPhone에서 직접 구동되는 개인 AI 비서인 Anvil을 개발해 왔습니다.

채팅 기능은 LiteRT LM을 통해 Gemma 4 E2B가 실행됩니다. 이미지 기능인 Anvil Dream은 SDXL Lightning 변형 모델을 Core ML로 변환하여 Apple의 ml-stable-diffusion을 사용하며, Neural Engine에서 1024x1024 이미지를 생성합니다. 가장 어려웠던 부분은 메모리였습니다. 두 모델이 동시에 로드되지 않기 때문에, 앱은 사용자가 무엇을 하느냐에 따라 두 모델 사이를 전환(swap)합니다.

Wi-Fi를 통해 한 번 다운로드하면, 채팅, 음성 기능, 그리고 노트, 작업, 사진 및 문서와 연동되는 모든 것이 휴대폰에서 이루어집니다. 계정 생성 과정이 없습니다. 웹 검색과 iCloud 백업은 선택 사항이며 온디바이스(on device) 채팅과는 분리되어 있습니다.

현재 TestFlight에서 공개 베타로 제공되고 있으며, 베타 테스터는 Anvil Pro를 무료로 이용할 수 있습니다. 메모리 문제 때문에 iPhone 15 Pro 이상이 필요합니다.

[https://testflight.apple.com/join/s8UAwXBm]

속도, 배터리 사용량, 그리고 혼란스러운 부분에 대한 피드백을 환영하며, 온디바이스 설정에 관한 질문에는 기꺼이 답변드리겠습니다.