Apple Silicon 기반 온디바이스 AI 비서 RCLI 출시

요약

RCLI는 macOS 환경에서 구동되는 완전한 온디바이스(on-device) 음성 AI 시스템입니다. STT, LLM, TTS, VLM 파이프라인 전체가 클라우드 연결 없이 Apple Silicon 칩셋에서 네이티브로 작동합니다. MetalRT라는 자체 GPU 추론 엔진을 활용하여 M3 이상의 기기에서 최대 550 tok/s의 높은 처리량과 200ms 미만의 낮은 음성 지연 시간을 달성했습니다. 사용자는 음성 또는 텍스트 명령으로 Mac의 기능(앱 실행, 음악 재생 등)을 제어하고, 로컬 문서 검색(RAG), 실시간 카메라 및 화면

핵심 포인트

• MetalRT 기반 RCLI는 Apple Silicon에서 STT+LLM+TTS+VLM 파이프라인 전체를 클라우드 없이 구동하며, M3 이상 기기에서 최대 550 tok/s의 LLM 처리량을 보여줍니다.
• 음성 명령을 통해 Mac의 40가지 이상의 기능(앱 실행, 메시지 전송 등)을 제어할 수 있으며, 로컬 RAG를 통해 PDF, DOCX 등의 문서를 요약하고 질의응답 할 수 있습니다.
• VLM(Vision-Language Model) 기능을 활용하여 실시간 카메라 스트림이나 화면 캡처 영역을 분석하며, 이는 llama.cpp 엔진을 통해 Metal GPU에서 구동됩니다.
• M1/M2 Mac 사용자는 RCLI가 자동으로 오픈소스 llama.cpp 엔진으로 폴백(fallback)되도록 설계되어 호환성을 확보했습니다.