엣지에서 LLM 추론: React Native를 이용해 휴대폰에서 LLM을 실행하는 쉽고 재미있는 가이드!

LLM(Large Language Models)이 계속 발전함에 따라, 모델들은 점점 더 작아지고 똑똑해져서 여러분의 휴대폰에서도 직접 실행할 수 있게 되었습니다. 예를 들어, 15억 개의 파라미터를 가진 DeepSeek R1 Distil Qwen 2.5 같은 모델을 보면, 첨단 AI가 이제 손안에 들어올 만큼 작아졌음을 알 수 있습니다! 이 블로그에서는 이러한 강력한 모델들과 채팅할 수 있는 모바일 앱을 만드는 방법을 안내해 드릴 것입니다. 이 튜토리얼의 전체 코드는 저희 EdgeLLM 리포지토리에 있습니다. 오픈 소스 프로젝트의 복잡함에 압도당했던 적이 있다면 걱정하지 마세요! Pocket Pal 앱에서 영감을 받아, Hugging Face 허브에서 LLM을 다운로드하고 모든 것이 개인 정보 보호를 유지하며 기기에서 실행되도록 하는 간단한 React Native 애플리케이션을 구축하는 방법을 알려드리겠습니다. 저희는 GGUF 파일을 효율적으로 로드하기 위해 llama.cpp의 바인딩(binding)인 llama.rn을 활용할 것입니다!

이 튜토리얼은 다음 조건을 만족하는 모든 사람들을 위해 설계되었습니다:

• 모바일 애플리케이션에 AI를 통합하는 데 관심이 있는 분
• React Native를 사용하여 Android와 iOS 모두에서 호환되는 대화형 앱을 만들고 싶은 분
• 완전히 오프라인으로 작동하며 개인 정보 보호에 중점을 둔 AI 애플리케이션 개발을 목표로 하는 분

이 가이드가 끝날 무렵에는 좋아하는 모델들과 상호작용할 수 있는 완전하게 기능하는 앱을 갖게 될 것입니다.

앱 구축에 들어가기 전에, 모바일 장치에서 어떤 모델들이 잘 작동하는지, 그리고 모델 선택 시 무엇을 고려해야 하는지에 대해 이야기해 봅시다.

LLM을 모바일 장치에서 실행할 때, 크기가 매우 중요합니다:

소형 모델 (1-3B 파라미터): 대부분의 모바일 기기에 이상적이며 최소한의 지연 시간(latency)으로 좋은 성능을 제공합니다.
중형 모델 (4-7B 파라미터): 최신 고급 장치에서는 잘 작동하지만, 구형 휴대폰에서는 속도 저하를 일으킬 수 있습니다.
대형 모델 (8B+ 파라미터): 일반적으로 대부분의 모바일 기기에 너무 많은 리소스를 소모하지만, Q2_K 또는 Q4_K_M과 같은 낮은 정밀도의 형식으로 양자화(quantized)하면 사용할 수 있습니다.

GGUF 모델을 다운로드할 때, 다양한 양자화 형식을 접하게 될 것입니다. 이를 이해하는 것은 모델 크기와 성능 사이의 올바른 균형을 선택하는 데 도움이 됩니다:

• 기본적이고 간단한 양자화 방식
• 각 블록은 다음으로 저장됩니다:
  • 양자화된 값 (압축된 가중치, weights).
  • 스케일링 상수(scaling constants) 하나(_0) 또는 두 개(_1).
  • 빠르지만 최신 방법보다 효율적이지 않아 더 이상 널리 사용되지 않습니다.
• 이 PR에서 도입됨
• 레거시 양자화 방식보다 스마트한 비트 할당(bit allocation)