USB 드라이브로 휴대 가능한 오프라인 AI 작업 공간 HilbertRaum을 오픈소스로 공개합니다

저희는 개인 컴퓨터에서 AI 모델을 구동하는 것에 빠진 두 명의 사람입니다. 데이터가 제3자에게 넘어갈까 걱정할 필요 없이, 원하는 모든 일에 AI를 사용하는 것이 정말 좋았습니다. 하지만 거기에 도달하기까지 많은 시행착오가 있었고, 설정은 한 대의 기기에서만 작동했습니다. 저희는 로컬 AI를 더 많은 사람이 사용할 수 있도록 하고, 어디든 가지고 다닐 수 있게 만들고 싶어서 HilbertRaum을 구축했습니다. 이것은 완전히 오프라인으로 실행되는 무료 오픈소스 (GPL-3.0) 작업 공간입니다. 앱, 모델, 문서 및 채팅 모두 USB 스틱이나 SSD에 저장될 수 있습니다. Windows, macOS 또는 Linux 컴퓨터에 연결하고, 비밀번호로 작업 공간을 잠금 해제한 다음, 중단했던 지점부터 다시 시작할 수 있습니다. 이것은 서버가 아니라 데스크톱 앱이므로 Docker 이미지가 없고 리버스 프록시 할 것도 없습니다. 만약 이미 만족하는 로컬 환경 설정이 있다면, 아마도 이것이 필요하지 않을 것입니다. 하지만 로컬 AI에 대해 궁금해하지만 저녁 시간을 들여 설정을 하고 싶지 않은 사람을 아는 사람이 있을 수 있습니다. 모든 것이 준비된 드라이브를 그들에게 건넬 수 있다는 점이 저희에게 큰 매력입니다. 그들은 그냥 연결해서 사용해 볼 수 있습니다 :) 오픈 가중치 모델(Open-weight models)은 이제 많은 유용한 일상 작업을 수행할 수 있습니다. 하지만 하드웨어에 맞는 것을 선택하고 문서 검색을 작동시키는 것은 여전히 약간의 조정이 필요합니다. HilbertRaum은 하드웨어를 확인하고 적합한 모델을 제안하며, 문서 검색 기능이 내장되어 있습니다. 현재 할 수 있는 작업: 로컬 모델과 채팅하고 자신만의 PDF, Word 파일 및 메모에 대해 질문할 수 있습니다. 답변에는 출처가 된 구절이 인용되므로 확인할 수 있습니다. 잠금 시 작업 공간은 암호화(AES-256-GCM, Argon2id)됩니다. 클라우드 폴백도 없고, 웹 검색도 없고, 계정도 없고, 원격 측정 기능도 없습니다. 유일한 네트워크 사용은 확인하는 모델 다운로드이며, 에어갭(air-gapped) 기기에서는 수동으로 모델을 복사할 수 있습니다. Whisper를 사용하여 오디오를 전사하고, 메시지를 구술하며, OCR로 스캔된 페이지를 읽고, 이미지에 대해 질문하고 텍스트를 번역할 수 있습니다. 은행 명세서, 송장, 회의록 및 마스킹과 같은 일반 문서 작업에 대한 기술을 제공합니다.

사용자 지정 아카이브를 추가할 수 있습니다. 선택적으로 오프라인 Wikipedia 및 기타 ZIM 아카이브를 소스로 사용할 수 있습니다. 일반 채팅보다는 느리고 광범위한 질문에는 약하지만, 작은 모델에서 발생하는 꾸며낸 사실(made-up facts)을 눈에 띄게 줄여줍니다. 기본적으로 비활성화된 로컬 API가 127.0.0.1:4980/v1 에 있어 완성(completions)만 제공합니다. 저희는 모델 실행을 위해 llama.cpp를, 전사(transcription)를 위해 whisper.cpp를, 그리고 ZIM 아카이브 검색을 위해 Kiwix의 kiwix-tools를 기반으로 합니다. 모델 카탈로그에는 Qwen, Ministral, Gemma, Granite 계열의 오픈 웨이트(open-weight) 모델이 포함되어 있습니다. 해당 프로젝트들의 개발자분들께 큰 감사를 표합니다. 저희의 작업은 이 조각들을 하나로 모으고, 어떤 모델이 어떤 하드웨어에서 잘 작동하는지 테스트하며, 터미널 없이 앱을 사용할 수 있도록 만드는 것입니다. Electron, React, TypeScript를 사용하여 구축되었습니다. 아키텍처, 보안 모델 및 사용자 가이드는 리포(repo) 문서에 있습니다. 설치 프로그램은 아직 서명되지 않았기 때문에 Windows나 macOS에서 다운로드한 빌드를 처음 열 때 경고가 표시될 수 있습니다. GitHub 리포지토리는 [link]이며, 만약 사용해 보신다면 어떤 점이 작동하는지, 그리고 무엇을 개선해야 하는지에 대한 의견을 듣고 싶습니다. 코드, 문서, 번역 또는 버그 보고서 등 기여는 언제나 환영합니다. submitted by /u/Vladowski [link] [comments]