Molayo

© 2026 Molayo

HN중요요약2026. 04. 24. 15:13

Omi: 화면과 대화를 기록하고 AI로 액션 플랜을 제시하는 오픈소스 웨어러블 시스템

요약

Omi는 사용자의 스크린 활동과 주변 대화 내용을 실시간으로 포착하여 전사(Transcription)하고 요약하며, 핵심 실행 항목(Action Items)을 도출하는 다기능 AI 시스템입니다. macOS 앱, 모바일 앱(Flutter), 그리고 웨어러블 기기(Omi Glass/Wearable)를 통해 정보를 수집합니다. 백엔드에서는 Python 기반의 FastAPI와 다양한 GPU 가속 기능을 활용하여 음성 활동 감지(VAD), 화자 분리(Diarizer), STT(Deepgram) 처리를 거쳐 LLM을 구동합니다. 이 시스템은

핵심 포인트

  • Omi는 웨어러블, macOS 앱 (Swift/Rust), 모바일 앱 (Flutter) 등 다중 기기 아키텍처를 통해 정보를 포착하고 중앙 백엔드(Python/FastAPI)로 전송합니다.
  • 백엔드는 VAD, Diarizer, Deepgram STT 처리 과정을 거쳐 데이터를 정제하며, Firestore와 Redis를 활용하여 메모리 및 캐싱을 관리합니다.
  • 전체 시스템은 완전히 오픈 소스이며, 개발자들은 Rust/Swift/Flutter 등 다양한 스택으로 구성된 모듈별 SDK와 API 문서를 제공받아 확장할 수 있습니다.
  • Omi Glass Dev Kit(ESP32-S3)를 활용하여 하드웨어 레벨의 웨어러블 기기 구축 및 테스트가 가능합니다.

Show HN: Omi – watches your screen, hears conversations, tells you what to do

Omi captures your screen and conversations, transcribes in real-time, generates summaries and action items, and gives you an AI chat that remembers everything you've seen and heard. Works on desktop, phone and wearables. Fully open source.
Trusted by 300,000+ professionals.

git clone https://github.com/BasedHardware/omi.git && cd omi/desktop && ./run.sh --yolo

Builds the macOS app, connects to the cloud backend, and launches. No env files, no credentials, no local backend.

Full Installation

For local development with the full backend stack:

  • Install prerequisites
    xcode-select --install<br>curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh<br>
  • Clone and configure
    git clone https://github.com/BasedHardware/omi.git<br>cd omi/desktop<br>cp Backend-Rust/.env.example Backend-Rust/.env<br>
  • Build and run
    ./run.sh<br>

See desktop/README.md for environment variables and credential setup.

cd app && bash setup.sh ios # or: bash setup.sh android

How it works

Omi uses a multi-device architecture to capture, process, and analyze information from various sources:

Device Flow:

  • Your Devices: Omi (Wearable), macOS App (Swift/Rust), Mobile App (Flutter)
  • Backend Processing: The captured data flows into the central backend system.

System Architecture Diagram:

graph TD
    subgraph Your Devices
        A[Omi Wearable] -->|BLE|
        B[macOS App (Swift/Rust)] -->|HTTPS/WS|
        C[Mobile App (Flutter)] -->|HTTPS/WS|
    end

    Your Devices --> D(Omi Backend - Python)

    subgraph Omi Backend (Python)
        D1[Listen (REST)] -- Data Stream --> E[Pusher (WS)]
        E --> F[VAD (GPU)]
        F --> G[Diarizer (GPU)]
        G --> H[Deepgram (STT)]
        H --> I[Firestore (DB)]
        I --> J[Redis (Cache)]
        J --> K[LLMs (AI)]
    end

Component Breakdown:

ComponentPathStack
macOS appdesktop/Swift, SwiftUI, Rust backend
Mobile appapp/Flutter (iOS & Android)
Backend APIbackend/Python, FastAPI, Firebase
Firmwareomi/nRF, Zephyr, C
Omi GlassomiGlass/ESP32-S3, C
SDKssdks/React Native, Swift, Python
AI Personasweb/personas-open-source/Next.js

Resources and Guides

  • App Development Guide
  • Example Apps — GitHub, Slack, OmiMentor
  • Audio Streaming Apps
  • Custom Chat Tools
  • Submit to App Store
  • API Reference — REST endpoints for memories, conversations, action items
  • Python SDK
  • Swift SDK
  • React Native SDK
  • MCP Server — Model Context Protocol integration

Open-source AI wearables that pair with the mobile app for 24h+ continuous capture.

[Buy Omi]
[Buy Omi Glass Dev Kit — ESP32-S3, camera + audio]
[Open Source Hardware Designs]
[Buying Guide]
[Build the Device]
[Flash Firmware]
[Integrate Your Wearable]
[Hardware Specs]

MIT — see LICENSE

AI 자동 생성 콘텐츠

본 콘텐츠는 HN Claude Code Search의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
5

댓글

0