최신 노트북의 GPU는 창을 전환하는 짧은 시간 동안 성능이 뛰어난 언어 모델(Language Model)을 실행하고 스크린샷에서 텍스트를 읽어낼 수 있습니다. 하지만 당신이 타인의 서버에 당신의 삶을 저장하는 노트 앱에 매달 구독료를 지불하는 동안, 그 강력한 성능은 유휴 상태로 방치됩니다. Off Grid AI Desktop은 당신의 기기 자체를 스스로 구축되는 세컨드 브레인(Second Brain)으로 변환해 주는 무료 오픈 소스(Open-source) 앱입니다.

GitHub →

무료이며, 오픈 소스이고, 오프라인에서 실행됩니다. 계정도, API 키도 필요 없으며, 데이터가 당신의 기기를 떠나지 않습니다.

노트 테이킹 앱의 문제점

세컨드 브레인은 당신이 그 안에 무엇을 넣느냐에 따라 성능이 결정됩니다. 문제는 무언가를 입력하는 것이 '일'이며, 사람은 바쁠 때 일을 건너뛰게 된다는 점입니다. 그래서 노트는 오래되어 쓸모없게 되고, 시스템은 부패하며, 당신은 지난 화요일에 무엇을 읽었는지 다시 잊어버리는 상태로 돌아갑니다.

해결책은 수동 캡처(Manual Capture)에 의존하는 것을 멈추는 것입니다. Off Grid AI Desktop은 당신의 명시적인 허가 하에 당신의 작업 과정을 지켜보며 당신을 대신해 노트를 작성합니다. 언제 실행할지는 당신이 결정합니다. 앱이 기록(Recording), 읽기(Reading), 요약(Summarizing)을 수행합니다. 당신의 세컨드 브레인은 스스로 채워집니다.

필요한 사양

이 기능은 채팅 모델(Chat Model)을 지속적으로 실행하기 때문에 로컬 AI 기능 중 가장 무겁습니다. 충분한 여유 공간을 확보하세요.

최소 사양 (Minimum)

• macOS: Apple Silicon (M1), 16 GB RAM, macOS 13+
• Windows: NVIDIA GPU (CUDA) 또는 Vulkan 지원 GPU, 16 GB RAM, Windows 10+
• 앱과 소형 모델을 위한 약 10 GB의 여유 디스크 공간

권장 사양 (Recommended)

• macOS: M2 Pro 이상, 24 GB 이상의 통합 메모리(Unified Memory)
• Windows: 8 GB 이상의 VRAM을 갖춘 NVIDIA GPU, 32 GB RAM
• 메모리 데이터베이스(Memory Database)가 시간이 지남에 따라 커지므로 빠른 SSD 권장

채팅 모델은 양자화된(Quantized) GGUF 파일입니다. 더 큰 모델일수록 더 깔끔한 관찰 결과를 추출하므로, 여기서 메모리 용량은 큰 이점이 됩니다.

캡처-메모리 루프(Capture-to-memory loop) 작동 방식

이 부분은 다른 어떤 서비스도 동일한 방식으로 수행하지 않는 핵심 요소입니다. 루프는 5단계로 구성되며, 모든 단계는 당신의 기기에서 실행됩니다.

1. Capture (캡처). 기기별로 선택적으로 화면 캡처를 켭니다. 가시적인 녹화 표시기가 작동하는 동안 계속 켜져 있어, 항상 실행 중임을 알 수 있습니다. 아무것도 몰래 캡처되지 않습니다.
2. OCR (광학 문자 인식). 캡처된 각 프레임의 텍스트를 기기 내부(on-device)에서 읽습니다. 픽셀이 단어가 됩니다.
3. Distill (추출). 로컬 LLM (Large Language Model)이 해당 텍스트를 읽고 짧은 관찰 내용을 작성한 다음, 언급된 인물, 프로젝트, 회사 및 개념을 추출합니다.
4. Store (저장). 관찰 내용과 엔티티(Entities)는 디스크의 로컬 데이터베이스에 저장됩니다. 클라우드도, 벤더(vendor)로의 동기화도 없습니다.
5. Reflect (성찰). 아래에 설명된 여러 뷰(view)를 통해 결과를 탐색합니다.

캡처는 항상 사용자가 직접 켜는 방식이며, 실행 중에는 표시등이 켜집니다. 결코 기본값으로 설정되지 않으며 절대 숨겨지지 않습니다.

Off Grid AI 데스크톱이 할 수 있는 일

루프가 실행되면, 당신의 세컨드 브레인(second brain)은 다섯 가지 장소에 나타납니다. 각 장소는 동일하게 캡처된 기억을 바라보는 서로 다른 각도입니다.

Day (하루). 시간 블록별로 당신을 위해 작성된 하루의 일기입니다. 훑어보며 당신이 무엇을 하려고 의도했는지가 아니라, 실제로 무엇을 작업했는지 확인할 수 있습니다.

Entities (엔티티). 사람뿐만 아니라 모든 것을 위한 개인용 CRM (Customer Relationship Management)입니다. 프로젝트, 회사, 개념 각각이 기록으로 남으며, 병합, 숨기기, 계층 구조 제어 기능과 모델이 캡처된 문맥(context)으로부터 작성한 종합 요약(synthesis summaries)을 제공합니다. 지난주에 대화한 동료도 하나의 기록입니다. 반쯤 기억나는 프로젝트도 마찬가지입니다.

Replay (재생). 당신의 하루를 돌려볼 수 있는 영화 같은 기능입니다. 비디오를 탐색하듯 시간을 드래그하여 화면에 무엇이 있었는지 확인할 수 있습니다.

Reflect (성찰). 'Day'와 'Week'를 관통하는 트렌드를 보여줍니다. 당신의 집중력이 어디로 향했는지, 얼마나 많은 컨텍스트 스위칭 (context-switching)이 일어났는지, 무엇이 당신의 주의를 끌었는지 보여줍니다. 바쁜 하루 속에서는 스스로 볼 수 없는 패턴들입니다.

Actions (액션). 모델이 당신의 커뮤니케이션에서 감지한 실행 항목(action items)들을 모아 당신이 검토할 수 있게 합니다. 이 항목들은 절대로 당신을 대신해 전송되지 않습니다. 각 항목을 어떻게 처리할지는 당신이 결정합니다.

이러한 뷰(view)에 있는 모든 것은 당신이 캡처하기로 선택한 프레임으로부터 왔으며, 당신의 하드웨어에서 읽히고 요약되었습니다.

하드웨어 가속 (Hardware Acceleration)의 작동 방식

채팅 모델을 지속적으로 실행하는 것이 하드웨어가 중요한 이유입니다.

macOS의 경우, 모델은 Metal 가속을 통해 Apple Silicon에서 실행되며, 통합 메모리 (Unified Memory) 덕분에 CPU와 GPU가 하나의 풀을 공유할 수 있습니다. 이것이 M-시리즈 기기가 성능 저하 없이 백그라운드에서 모델을 상주시키고 증류 (Distill) 할 수 있는 이유입니다.

Windows의 경우, 가속은 NVIDIA GPU의 CUDA 또는 더 넓은 범위의 그래픽 카드를 지원하는 Vulkan을 통해 이루어지며, 호환 가능한 GPU가 없는 기기를 위해 CPU 폴백 (Fallback) 기능이 제공됩니다. VRAM이 더 많을수록 더 크고 정교한 모델을 사용할 수 있습니다.

모델은 소비자용 RAM 또는 VRAM에 들어갈 수 있도록 압축된 양자화 (Quantized) 된 GGUF 파일입니다. 양자화와 온디바이스 OCR (On-device OCR)의 결합은 당신이 이미 소유하고 있는 데스크톱에서 스스로 구축되는 메모리를 실용적으로 만들어 줍니다.

더 깔끔한 메모리를 위한 팁

몇 가지 습관만으로도 당신의 세컨드 브레인을 소음이 아닌 유용한 도구로 유지할 수 있습니다.

하루 종일 켜두지 말고 세션 단위로 캡처하세요. 집중 업무 시간에는 켜두고, 휴식 시간에는 꺼두세요. 집중된 시간으로부터 더 풍부한 관찰 결과를 얻을 수 있고, 유휴 브라우징으로 인한 불필요한 데이터(Clutter)를 줄일 수 있습니다.

가끔씩 엔티티 (Entities)를 정리하세요. 중복된 항목을 병합하고, 노이즈를 숨기며, 계층 구조를 설정하세요. 몇 분간의 정리 작업만으로도 합성 요약 (Synthesis summaries)의 정확도가 훨씬 높아집니다.

여유 공간을 고려하여 RAM 용량에 맞는 모델을 선택하세요. 만약 증류 (Distillation) 과정이 느려진다면, 더 작은 양자화 수준으로 낮추세요. 루프 (Loop)는 뒤처지는 것이 아니라, 당신의 속도를 따라오고 있다는 느낌을 주어야 합니다.

각 액션 (Actions)에 일일이 반응하기보다 정해진 일정에 따라 검토하세요. 그것들은 당신에게 쏟아지는 편지함이 아니라, 당신이 제어하는 대기열 (Queue)입니다.

개인정보 보호: 클라우드 노트 테이킹보다 강력함

클라우드 노트 테이킹 (Cloud note-taking) 앱은 당신의 작업물을 서버에 저장하고, 인덱싱하며, 당신의 계정에 연결합니다. 캡처된 화면 콘텐츠를 기반으로 구축된 이와 같은 세컨드 브레인을 벤더 (Vendor)에게 넘겨주는 것은 매우 심각한 문제입니다. 따라서 여기서는 그 어떤 것도 외부로 전송하지 않습니다.

Off Grid AI Desktop은 모든 프레임(frame), 관찰(observation), 엔티티(entity)를 사용자의 디스크에 보관합니다. 이 앱은 AGPL-3.0 오픈 소스이므로, 앱이 무엇을 캡처하고 어디에 저장하는지 정확히 읽어볼 수 있습니다. 텔레메트리(telemetry), 계정, 업로드가 전혀 없습니다. 캡처는 사용자가 직접 켰을 때만 실행되며, 실행 중에는 내내 눈에 보이는 표시기가 나타납니다. 네트워크 케이블을 뽑아도 당신의 세컨드 브레인은 계속 작동합니다.

시작하기

1. GitHub 리포지토리를 열고 macOS 또는 Windows용 최신 릴리스를 다운로드하거나, 소스에서 클론(clone)하여 빌드하세요.
2. Off Grid AI Desktop을 설치하고 실행합니다.
3. 앱 내부에서 채팅 모델(chat model)을 다운로드합니다.
4. 화면 캡처를 켜고, 운영체제(OS) 권한을 허용하며, 녹화 표시기가 나타나는지 확인합니다.
5. 잠시 작업을 한 뒤, Day, Entities, Replay, Reflect를 열어 무엇이 구축되었는지 확인합니다.

가입도, 키(key)도, 클라우드 계정도 필요 없습니다.

향후 계획

• 노트북과 데스크톱의 메모리가 결합되는 기기 간 동기화(Cross-device sync)
• Day, Entities, 캡처된 관찰 내용 전체를 아우르는 통합 검색
• 화면 이외의 더 다양한 캡처 소스 추가
• 더 긴 기간에 걸친 더욱 풍부한 Reflect 트렌드 분석

FAQ

Q: 정말 무료인가요?

네. 이 앱은 AGPL-3.0 라이선스 하에 무료이며 오픈 소스입니다. 캡처-메모리 루프(capture-to-memory loop)는 오픈 코어(open core)의 일부입니다.

Q: 오프라인에서도 작동하나요?

네. OCR, 증류(distillation), 저장 기능이 모두 사용자의 기기에서 실행되므로 네트워크 없이도 작동합니다.

Q: 화면 캡처가 항상 켜져 있나요?

아니요. 기기별로 선택(opt-in) 방식이며, 사용자가 직접 켰을 때만 실행됩니다. 실행 중에는 내내 눈에 보이는 녹화 표시기가 나타납니다.

Q: RAM이 얼마나 필요한가요?

채팅 모델이 지속적으로 실행되기 때문에 16GB가 최소 사양입니다. 24GB 이상이면 더 큰 모델을 실행하여 더 깔끔한 관찰(observation) 결과를 얻을 수 있습니다.

Q: Mac뿐만 아니라 Windows에서도 작동하나요?

네. macOS는 Metal과 통합 메모리(unified memory)를 사용하고, Windows는 CUDA 또는 Vulkan을 사용하며, 두 경우 모두 CPU로 폴백(fallback)할 수 있습니다.

Q: 캡처된 데이터가 업로드되나요?

아니요. 서버는 존재하지 않습니다. 프레임, 관찰, 엔티티는 사용자의 디스크에 머물며, 액션(Actions)은 사용자를 대신하여 절대 전송되지 않습니다.

스스로 구축되는 세컨드 브레인 (Second Brain)을 구축하고, 그 모든 프레임 (Frame)을 사용자의 기기에 보관하세요.

GitHub →