Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Apple이 CoreML의 차세대 대체제인 CoreAI를 발표했습니다. 이는 Apple Silicon에 최적화된 온디바이스 추론 엔진으로, 기존 CoreML의 한계를 넘어 대규모 파라미터 모델과 확장된 연산 지원을 목표로 합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기이 소식은 사람들의 주목을 받지 못한 것 같습니다. Apple은 WWDC에서 CoreAI를 발표했는데, 이는 기본적으로 CoreML의 미래 대체제이자 특히 휴대폰과 태블릿에서의 온디바이스 (on-device) 최적화된 추론을 위한 MLX/llama.cpp/torch의 대안입니다. 모델 가중치(model weights)는 Python 스크립트를 통해 CoreML과 유사하게 변환되어야 하며, 현재 지원되는 모델 목록은 주로 2025년 중반 모델들입니다 (https://github.com/apple/coreai-models/tree/main/models). 이것이 왜 새로운 것인지 궁금해하는 분들을 위해 설명하자면, 기존의 CoreML은 수십억 개의 파라미터(params)를 넘어서는 모델을 지원하지 않았으며 지원되는 연산(operations) 풀도 매우 제한적이었습니다. 이는 ANE 연산(ops)에도 큰 업데이트가 있음을 의미합니다. 성능에 대해서는 아직 알려진 바가 없으며, 현재로서는 GPU 상의 순수 MLX보다 성능이 떨어질 가능성이 매우 높습니다. 또 다른 흥미로운 점은 그들이 파운데이션 모델 (foundation models)을 위해 20B 모델을 온디바이스에 배포할 수 있다고 자랑하고 있다는 것입니다 (https://machinelearning.apple.com/research/introducing-third-generation-of-apple-foundation-models). 이는 느슨하게 로드되는(lazily loaded) MoE (Mixture of Experts)로 보이므로, 아마도 CoreAI를 통해 앱과 함께 더 큰 모델을 배포할 수 있게 될 것입니다.