단 6줄의 코드, API 호출 0회: React Native에서 온디바이스(On-Device)로 LLM 실행하기

제가 작업해 온 모든 AI 기능은 똑같이 조용히 다음과 같은 일을 수행해 왔습니다: 사용자의 텍스트를 수집하고, 타인의 서버로 전송하며, 토큰당 비용을 지불하고, 네트워크가 끊기지 않기를 기도하는 것이죠. 하지만 다음과 같은 상황이 닥치면 더 이상 괜찮지 않습니다:

• 사용자가 비행기 안에 있어 네트워크가 연결되지 않아 기능이 작동하지 않을 때.

React Native ExecuTorch는 ExecuTorch 🚀를 기반으로 React Native에서 온디바이스(On-Device) 방식으로 AI 모델을 실행할 수 있는 선언적(declarative) 방식을 제공합니다. 이 라이브러리는 광범위한 LLM, 컴퓨터 비전 모델 등에 대한 즉시 사용 가능한 지원(out-of-the-box support)을 제공합니다. 이러한 모델들을 탐색하려면 HuggingFace 페이지를 방문해 보세요.

Meta가 개발한 ExecuTorch는 모바일 폰이나 마이크로컨트롤러와 같은 장치에서 AI 모델 실행을 가능하게 하는 새로운 프레임워크입니다.

React Native ExecuTorch는 React Native와 네이티브 플랫폼 기능 사이의 간극을 메워, 개발자가 모바일 기기에서 로컬 AI 모델을 효율적으로 실행할 수 있도록 지원합니다. 이는 네이티브 프로그래밍이나 머신러닝 (Machine Learning)에 대한 광범위한 전문 지식 없이도 가능합니다.

목차 (Table of Contents)

• 지원 버전 (Supported Versions)
• 실제 사례 (Real-world Example)
• 퀵스타트 - LFM2.5 실행하기 (Quickstart - Running LFM2.5)
  • 1️⃣ 설치 (Installation)
  • 2️⃣ 설정 및 초기화 (Setup & Initialization)
  • 3️⃣ 모델 실행하기! (Run the Model!)
• 데모 앱 (Demo Apps)
• 준비된 모델 (Ready-made Models)
• 문서 (Documentation)
• 라이선스 (License)
• 다음 단계는? (What's Next?)
• React Native ExecuTorch는 Software Mansion에 의해 제작되었습니다 (React Native ExecuTorch is created by Software Mansion)

지원 버전 (Supported Versions)

최소 지원 버전은 다음과 같습니다:

• iOS…

GitHub에서 보기

멘탈 모델 (The mental model)

코드를 작성하기 전에, 혼란을 크게 줄여줄 한 가지 아이디어가 있습니다. LLM은 앱의 일부일 뿐, 앱 그 자체는 아니라는 점입니다. 이 라이브러리는 모델을 제공할 뿐 그 외의 것은 제공하지 않습니다. 그 주변의 모든 것은 여전히 여러분의 몫입니다.

다음 세 가지 요소가 함께 작동한다고 상상하면 도움이 됩니다:

• **여러분의 일반적인 앱 코드 (Your normal app code)**는 예측 가능합니다. 버튼, 리스트, 네비게이션처럼 매번 동일한 입력에 동일한 출력이 나옵니다.

• **모델 (The model)**은 예측 불가능합니다. 동일한 프롬프트 (Prompt)를 두 번 입력하더라도 약간 다른 답변을 얻게 될 것입니다. 모델은 사실을 찾아보는 것이 아니라, 다음에 올 확률이 높은 단어를 예측함으로써 텍스트를 생성하기 때문입니다. 이것이 모델이 때때로 매우 자신 있게 틀린 내용을 말하는 이유이기도 합니다. 이는 패치로 고칠 수 있는 결함이 아니라 작동 방식 그 자체이므로, 이를 고려하여 계획을 세워야 합니다.

• **출력을 읽는 사람 (The person reading the output)**이 최종 검증자입니다. 무엇을 믿고 무엇을 무시할지는 사용자가 결정합니다.

react-native-executorch는 오직 중간 단계만을 담당합니다. 라이브러리는 여러분에게 단어의 스트림 (Stream)과 몇 가지 상태 플래그 (Status flags)를 전달합니다. 채팅 UI를 관리하거나, 모델을 언제 실행할지 결정하거나, 답변이 좋은지 판단하지 않습니다. 그런 것들은 여러분이 직접 구축해야 합니다.

요구 사항 (Prerequisites)

• New Architecture 전용. 이 라이브러리는 기존의 RN 아키텍처를 지원하지 않습니다. 앱이 아직 기존 아키텍처를 사용 중이라면, 그것이 여러분의 첫 번째 마이그레이션 과제가 될 것입니다.

• Expo SDK 54 이상. Expo를 사용 중이라면 (권장 사항입니다) SDK 54 이상이어야 합니다. 이전 SDK 버전은 라이브러리가 의존하는 파일 시스템 API (File-system APIs)에서 오류가 발생합니다.

• Expo Go가 아닌 커스텀 개발 빌드 (A custom dev build). 이 라이브러리는 네이티브 모듈 (Native modules)에 의존합니다. Expo Go에서는 이를 로드할 수 없습니다. 이는 처음 접하는 모든 사람이 겪는 실수입니다.

• 릴리스 빌드를 위한 실제 iOS 기기. ExecuTorch는 네이티브로 실행되기 때문에, 시뮬레이터를 대상으로 하는 iOS 릴리스 (Release) 빌드를 생성할 수 없습니다. 시뮬레이터에서의 디버깅은 괜찮지만, 릴리스 테스트에는 실제 하드웨어가 필요합니다.

마지막 두 가지 사항은 선택적인 조언이 아니라, "왜 실행이 안 되지"와