「Project Salieri」 기술 ①

제가 만들고 있는 것 중 하나는

"Unity를 통해 스마트폰의 GPU를 사용하여 로컬 LLM을 구동하는 시스템"
입니다.

쉽게 말해,
스마트폰 안에 작은 AI를 넣어 클라우드로 전송하지 않고, 그 자리에서 생각하게 하는 것입니다. 여기서 흥미로운 점은 스마트폰의 메모리 구성입니다.

일반적인 PC에서는 CPU용 메모리와 GPU용 메모리가 분리되어 있는 경우가 많지만,
스마트폰에서는 CPU와 GPU가 같은 메모리를 공유합니다.

생각하는 방식으로는 Apple Silicon 탑재 Mac의 '유니파이드 메모리(Unified Memory)'와 가깝습니다. 따라서,
AI 모델을 CPU 측에서 GPU 측으로 대량 복사하는
이러한 낭비를 줄이기 쉽고,
제한된 메모리밖에 없는 스마트폰에서도
GPU를 활용한 AI 처리와 궁합이 좋은 부분이 있습니다.

저의 Project Salieri에서는,

스마트폰
↓
로컬 LLM
↓
대화
↓
표정
↓
로봇 동작

까지, 최대한 스마트폰 1대 안에서 완결시키려고 하고 있습니다. 즉 스마트폰을
'AI에게 명령을 보내는 단말기'가 아니라,
그대로 'AI 로봇의 두뇌'로 만들어 버리려는 시도입니다.
#Unity #Android #LocalLLM #EdgeAI #AI로봇 #ProjectSalieri