Show GN: Catch Your Mind – MCP로 연결하는 실시간 멀티모달 Context SDK

요약

Catch Your Mind는 실시간 멀티모달 입력(카메라, 마이크)을 LLM과 AI 에이전트가 활용할 수 있는 시간적 문맥(Temporal Context)으로 변환하는 오픈소스 SDK입니다. 이 SDK는 ASR, VLM 등 로컬 모델 기반의 독립적인 Perception Layer를 제공하여, 기존 LLM을 재학습 없이도 실시간 관측 정보를 공급합니다. AI 컴패니언, 로보틱스 등 다양한 분야에 적용 가능한 플러그형 아키텍처가 특징입니다.

핵심 포인트

• 실시간 멀티모달 입력을 Temporal Context로 변환하는 SDK를 제공합니다.
• ASR, VAD, VLM 기반의 로컬 Perception Model을 활용하여 상황 분석이 가능합니다.
• LLM Fine-tuning 없이 독립적인 관측 정보 레이어를 구축할 수 있습니다.
• MCP 연결 및 플러그형 아키텍처로 높은 확장성을 자랑합니다.