세상에, 이건 애플의 영역을 직접 침범하는 거 아닌가요!

6.6B (66억 파라미터) 규모의 소형 모델 (Small Model)이 Siri와 수많은 클라우드 (Cloud) 거물들을 입 다물게 만들었습니다. 게다가 단 7GB의 메모리 (RAM)만 사용하여 Mac 로컬 (Local)에서 구동됩니다.

CJ Zafir 등이 개발한 Mac-1은 파라미터 (Parameter) 수가 말도 안 될 정도로 작을 뿐만 아니라, 한 번에 487개의 Mac 네이티브 (Native) 도구들을 연결했습니다. 체인 호출 (Chain calling), 자동 추론 (Automatic reasoning)이 가능하며, 이메일 발송부터 회의 예약까지 수행할 수 있고, 속도는 65 tok/s에 달하며 UI 또한 순수 Mac 스타일입니다.

이전에는 모두가 에이전트 (Agent)가 대형 모델 (LLM)과 클라우드 (Cloud)에 의존해야 신뢰할 수 있다고 생각했지만, 이 로컬 소형 모델이 "모델이 클수록 강력하다"는 이론을 뒤엎으려 하고 있습니다.

이 모델의 진정으로 놀라운 점은 애플리케이션 계층 (Application layer)을 Mac 네이티브 (Native) 경험으로 구현하여, 사용자는 편하게 사용하고 에이전트 (Agent)는 백그라운드에서 스스로 작업을 수행한다는 것입니다.

클라우드 SaaS (Software as a Service) 기반의 에이전트 (Agent) 시대는 본격적으로 시작되기도 전에, 로컬 소형 모델 (Local Small Model)과 네이티브 도구 (Native tools)의 조합에 의해 종결될지도 모릅니다.

애플이 해내지 못한 일을 이 회사가 해치워 버린 느낌이네요!

나중에 실제로 테스트해서 중국어 지원이 얼마나 매끄러운지도 확인해 봐야겠습니다~