와! iPhone에서 27B 대규모 모델을 돌릴 수 있게 되었네!

27B 규모의 모델이 이제 iPhone 17 Pro에서 직접 구동되며, 메모리 점유율은 5GB 미만입니다.

PrismML의 Bonsai 27B가 휴대폰에서 실행된 최초의 27B급 모델이라고 알려졌습니다.

영상 속에서 실시간으로 응답하며 성능이 상당히 사용 가능합니다.

이는 과거에는 클라우드 환경에서만 처리할 수 있었던 규모의 매개변수가 실제로 개인 기기로 진입하고 있음을 의미합니다.

예전에는 스마트폰 AI가 작은 모델만 돌릴 수 있다고 생각했지만, 이제 최고 수준의 오픈 소스 모델에 근접한 크기의 것이 손안에서 구동되고 있습니다.

양자화(Quantization) 기술로 메모리를 극한까지 줄이면서도 사용 가능성을 유지했습니다.

이는 단순한 공학적 최적화를 넘어, '강력한 AI는 반드시 클라우드에 연결되어야 한다'는 가정을 한 단계 더 전진시킨 것입니다.

모델의 크기가 충분하고, 지능적이며, 로컬에서 낮은 리소스로 구동될 수 있게 되면 프라이버시, 지연 시간(Latency), 오프라인 기능 등 모든 면에서 근본적인 변화가 일어날 것입니다.

오픈 소스 주소: https://t.co/WfhxMcKcyJ