Molayo

© 2026 Molayo

Reddit요약2026. 05. 16. 22:27

[출시] Nexidion – 자율적인 로컬 AI 백그라운드 워커를 갖춘 개인용 지식 저장소

요약

Nexidion은 개인정보 보호에 중점을 둔 개인용 지식 저장소 프로젝트로, 오픈 소스로 공개되었습니다. 이 시스템은 Docker를 활용하여 Postgres DB, 백엔드, 프론트엔드, 그리고 AI 태스크 러너를 단일 명령어로 쉽게 배포할 수 있도록 설계되었습니다. 특히 VRAM 제약이 있는 환경에서도 35B 모델을 구동하는 상세한 기술적 가이드와 최적화된 실행 방법을 제공합니다.

핵심 포인트

  • 개인정보 보호에 초점을 맞춘 개인용 지식 저장소 'Nexidion'을 오픈 소스로 공개함.
  • Docker Compose를 사용하여 Postgres DB, 백엔드, 프론트엔드, AI 태스크 러너를 단일 명령어로 통합 배포할 수 있음.
  • VRAM 제약 환경에서도 35B 모델 구동을 위한 상세한 Docker 명령어와 최적화 기법(flash attention, Q8 KV cache 등)을 공유함.
  • 사용자 피드백을 요청하며, 로컬 AI 백그라운드 에이전트의 성능 및 일괄 정리 프롬프트에 대한 의견을 구하고 있음.

안녕하세요,

거의 2년 동안의 간헐적인 개발, 5번의 완전한 아키텍처 재작성, 그리고 몇 번의 난관을 겪은 끝에, 마침내 저 자신의 개인정보 보호에 대한 불안감을 해소하기 위해 만든 프로젝트인 Nexidion을 오픈 소스로 공개합니다.

GitHub Repo: https://github.com/HabermannR/Nexidion

시중에

VRAM (비디오 램) 제약이 있는 분들 중 제 설정을 재현하고 싶은 분들을 위해, 제가 이 35B 모델을 2080 Ti에서 구동하기 위해 사용하는 정확한 Docker 명령어를 공유합니다 (flash attention, Q8 KV cache 및 speculative decoding (추측 디코딩) 사용):

docker run --gpus all --rm \
    -p 1234:1234 \
    -v /mnt/c/.../models/unsloth/Qwen3.5-36B-A3B:/models \
...

시작하기

방금 모든 과정을 Dockerizing (도커화) 하여, Postgres DB, 백엔드 (backend), 프론트엔드 (frontend), 그리고 AI 태스크 러너 (task runner)를 단 하나의 명령어로 실행할 수 있습니다:

docker compose --profile with-postgres --profile with-task-runner up -d

(전체 문서와 설정 방법은 리포지토리(repo)에 있습니다).

여러분의 피드백을 듣고 싶습니다! 특히 로컬 AI (local-AI) 사용자분들로부터 백그라운드 에이전트 (background agent)가 다양한 모델/양자화 (quants) 모델에서 어떻게 작동하는지, 그리고 일괄 정리 (batch organization)를 위해 어떤 프롬프트 (prompts)가 가장 효과적인지에 대해 꼭 듣고 싶습니다.

여러분의 의견을 알려주세요!

AI 자동 생성 콘텐츠

본 콘텐츠는 Reddit AI Engineering의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
0

댓글

0