한 소규모 실리콘밸리 회사가 강력한 인공지능(AI) 모델을 아이폰에서 직접 실행할 수 있도록 충분히 줄일 수 있다고 밝혀, 해당 스타트업의 CEO가 CNBC에 전했습니다.

Khosla Ventures의 지원을 받은 캘리포니아 공과대학교(California Institute of Technology)의 스핀아웃 기업인 PrismML은 화요일에 Alibaba의 오픈소스 Qwen 모델 압축 버전을 공개했습니다. 이 회사는 해당 모델을 약 54GB에서 4GB 미만으로 줄여, 270억 개의 모든 파라미터가 아이폰 15 또는 그 이상에서 실행될 수 있게 했습니다.

PrismML의 CEO Babak Hassibi는 CNBC에 Apple과 다른 회사들이 해당 스타트업의 모델을 평가하고 기기에서의 속도, 에너지 효율성 및 성능을 측정하고 있다고 말했습니다.

Hassibi는 Apple에 대해

Creative Strategies의 사장 겸 수석 분석가인 Carolina Milanesi는 더 작은 모델들이 컴퓨테이셔널 포토그래피(computational photography), 비디오 생성, 그리고 민감한 개인 데이터에 의존하는 건강 또는 피트니스 도구 등 더욱 까다로운 기능을 아이폰으로 옮길 수 있게 할 것이라고 말했습니다.

그녀는 사용자들이 사적으로 보관하고 싶어 하는 건강 및 투약 데이터를 가리키며 "기기에서 더 많은 것을 할수록 더 좋다"고 말했습니다.

PrismML은 AI 모델이 내부 정보를 저장하는 방식을 극적으로 단순화하여 축소한다고 밝혔습니다. 이 과정은 각 값을 16비트에서 단 하나 또는 세 가지 가능한 값으로 줄입니다. 이는 모델을 저장하고 구동하는 데 필요한 메모리를 크게 절감합니다.

Hassibi는 이를 칩 산업이 8비트 컴퓨팅에서 4비트로 이동한 것에 비유했지만, 한 단계 더 나아간 것이라고 설명했습니다.

해당 스타트업에 따르면 압축된 모델은 기존 하드웨어에서 실행되는 일반적인 버전보다 메모리를 10배에서 15배 적게 사용하고, 응답을 6배에서 8배 빠르게 생성하며, 에너지 소비는 3배에서 6배 적다고 합니다.

Hassibi는 다만 상충 관계(trade-off)가 존재한다는 점은 인정했습니다. PrismML의 모델은 일반적으로 전체 성능에서 몇 퍼센트 포인트의 손실을 겪으며, 추론(reasoning), 수학, 코딩과 같은 기술보다는 사실적 회상(factual recall)이 약해진다고 말했습니다.

PrismML은 이 모델의 두 가지 압축 버전을 무료로 공개할 예정입니다. 이 버전들은 아이폰, 맥북(MacBooks), 엔비디아(Nvidia) 기반 PC를 포함한 일상적인 기기에서 실행되도록 설계되었습니다.

이 기술은 Caltech에 있는 Hassibi의 연구 그룹에서 나왔습니다. 해당 대학이 근본적인 특허를 소유하고 PrismML에 독점적으로 라이선스를 부여했습니다. 이 회사(PrismML)는 지난 3월 Khosla Ventures와 다른 투자자들로부터 1,625만 달러 규모의 시드 라운드를 유치했습니다.

Hassibi는 구글(Google)의 오픈소스 Gemma 모델이 다음 순서에 있으며, 그 뒤를 이어 오늘날 일반적으로 데이터센터 하드웨어를 필요로 하는 더 큰 모델들도 나올 것이라고 말했습니다.

PrismML에 따르면, 이 기술은 궁극적으로 휴대폰과 노트북을 넘어 로봇공학(robotics), 자율 시스템(autonomous systems) 및 클라우드 연결에 의존하지 않고 빠르게 결정을 내려야 하는 다른 제품들로까지 확장될 수 있습니다.

그는

클라이언트 프로세서에 대한 IDC의 연구를 이끄는 Phil Solis는 전력 소비가 가장 큰 미해결 과제일 수 있다고 말했습니다. 에이전트와 같은 작업에 대해 자주 또는 백그라운드에서 지속적으로 사용될 만큼 충분한 능력을 갖춘 모델은 메모리 요구량이 적더라도 휴대폰 배터리를 소모시킬 수 있습니다.

칩 수요에 미치는 영향

PrismML의 발표는 또한 AI 효율성 개선이 궁극적으로 메모리 칩과 값비싼 데이터센터 인프라에 대한 수요를 줄일 수 있는지에 대한 격렬한 논쟁 속에서 나왔습니다.

메모리는 소비자 가전제품과 AI 서버 전반에 걸쳐 가장 큰 제약 사항이자 비용 중 하나가 되었습니다. Morgan Stanley는 Apple의 평균 동적 랜덤 액세스 메모리(DRAM) 비트당 비용이 2027 회계연도에 연간 약 190% 상승할 수 있으며, NAND 비용은 약 180% 상승할 것으로 추정했습니다. NAND는 일반적으로 플래시 드라이브와 솔리드 스테이트 드라이브(SSD)에 사용됩니다.

이 회사(Morgan Stanley)는 Apple이 마진을 보호하기 위해 유사한 iPhone 18 모델의 시작 가격을 약 $200 인상할 것으로 예상합니다.

PrismML은 자체 접근 방식이 일반적으로 8개의 GPU가 필요한 클라우드 모델을 단 하나의 GPU에서 실행할 수 있게 할 뿐만 아니라, 한때 서버가 필요했던 모델들을 휴대폰과 노트북으로 이동시킬 수 있도록 할 것이라고 말했습니다.

이는 주어진 AI 작업을 위해 필요한 메모리나 컴퓨팅 용량을 줄일 수 있습니다. 하지만 이것이 전체 칩 수요가 반드시 감소한다는 것을 의미하지는 않습니다.

D.A. Davidson의 분석가 Gil Luria는 모델 축소가 프로세서나 메모리의 필요성을 없애지는 않을 것이라고 말했습니다. 단지 그러한 칩들을 데이터센터에서 휴대폰 및 다른 장치로 더 많이 옮길 수 있을 뿐입니다.

Luria는

효율성 혁신은 지출 감소보다는 사용 증가로 이어질 수도 있습니다. 왜냐하면 더 저렴하고 빠른 AI가 새로운 제품을 가능하게 하고 소비자들이 모델을 더 자주 실행하도록 유도하기 때문입니다.

그럼에도 불구하고, 시장은 AI가 예상보다 적은 메모리를 필요로 한다는 어떠한 암시도 빠르게 처벌해 왔습니다. 마이크론(Micron)의 주가는 구글이 모델 성능 저하 없이 메모리 사용을 줄이는 터보퀀트(TurboQuant) 논문을 발표한 후 3월에 급락했지만, 이후 회복되기도 했습니다.

PrismML의 공개 배포는 일반 사용자들과 투자자들에게 실험실 외부에서 주장된 이점들이 유지되는지 테스트할 기회를 제공합니다. 그리고 Apple에게 있어, 아이폰에서 더 강력한 AI를 직접 구동하는 것은 사생활 보호와 하드웨어 통합이라는 자사 제품을 차별화하는 요소를 포기하지 않으면서 Siri를 개선하는 데 도움을 줄 수 있습니다.

Counterpoint의 Pathak은