스타트업 PrismML은 중국 인터넷 거대 기업 Alibaba가 개발한 오픈 소스 대규모 언어 모델 (LLM)인 Qwen 3.6을 iPhone 17 Pro에서 실행할 수 있도록 축소했다고 밝혔습니다. 이 모델은 270억 개 (27 billion)의 파라미터 (parameters)를 가지고 있으며, 이는 대략 뇌의 시냅스와 유사하며 모델이 처리할 수 있는 데이터의 복잡성을 결정하는 데 도움을 줍니다. 이와 대조적으로, 모바일 기기에서 실행되는 대부분의 모델은 한 번에 수십억 개의 파라미터만 활성화됩니다. 수조 개의 파라미터에 달하는 가장 큰 AI 모델들은 여전히 모바일 기기에서 실행하기에는 너무 큽니다. 하지만 PrismML이 iPhone에서 작동시키고 있는 이 모델은 복잡한 채팅, 추론 (reasoning), 완전 자율 에이전트 (fully autonomous agents) 및 소프트웨어 코딩과 같은 작업을 수행할 수 있다고 스타트업 측은 전했습니다. 이 오픈 소스 모델은 다음 주 화요일에 다운로드할 수 있을 예정입니다. PrismML의 CEO인 Babak Hassibi는 인터뷰에서 대다수의 AI가 결국 기기 자체에서 처리될 것이라고 예측했습니다. Hassibi는 "지금으로부터 약 3년 후, 당신에게 필요한 지능의 95%를 당신의 휴대폰, 노트북, 가전제품 등 로컬 (locally)에서 사용할 수 있고, 클라우드 (cloud)를 이용해야 하는 것은 정말 마지막 5%의 하이엔드 장비뿐인 세상을 상상해 보십시오"라고 말했습니다. 또한 그는 "사람들이 앞으로 나아갈 방향을 그렇게 보고 있다고 생각합니다"라고 덧붙였습니다. 모델을 기기에서 실행할 수 있도록 축소하는 것은 "근본적으로 AI의 경제학을 변화시킨다"라고 그는 덧붙였습니다. PrismML은 수학적 기법을 사용하여 Qwen 3.6 모델을 원래 크기의 아주 작은 부분으로 축소합니다. 일반적으로 모델을 축소하면 성능이 저하되지만, 이 회사는 AI 모델 크기를 소형화하는 자신들의 기술이 성능을 저해하지 않는다고 주장합니다. PrismML은 Qwen 3.6의 크기를 약 54GB에서 4GB 미만으로 압축했습니다. PrismML은 캘리포니아 공과대학교 (California Institute of Technology)에서 파생된 기업으로, 해당 학교의 전기공학 교수인 Hassibi와 그의 공동 창업자들이 스타트업 기술에 사용된 수학적 연구를 수행했습니다.

Caltech은 해당 기술의 특허를 보유하고 있으나, 이를 PrismML에 독점적으로 라이선스합니다. Hassibi는 PrismML이 1조 개의 파라미터 (parameters) 규모에 달하는 더 큰 AI 모델들을 계속해서 축소할 계획이며, 이를 통해 OpenAI의 GPT나 Anthropic의 Claude와 같은 최첨단 모델의 영역에 진입하게 될 것이라고 말했습니다. 새로운 Siri 발표의 일환으로, Apple은 iPhone의 새로운 AI 기능 중 일부가 기기 자체에서 구동될 것이라고 밝혔습니다. Apple의 새로운 온디바이스 (on-device) 모델 중 하나는 200억 개의 파라미터를 가지고 있지만, 한 번에 10억 개에서 40억 개의 파라미터만 활성화되는 이른바 희소 아키텍처 (sparse architecture)를 사용합니다. PrismML의 온디바이스 모델의 경우, 270억 개의 파라미터 전체가 동시에 활성화됩니다. /u/pmttyji가 r/LocalLLaMA에 제출함 [link] [comments]