데스크톱용 로컬 AI 애플리케이션을 개발할 때 가장 큰 병목 현상은 **'개발 환경과 일반 사용자 PC 사양의 괴리'**입니다.
개발자의 머신이 RTX 4090이나 VRAM 24GB를 탑재하고 있더라도, 실제 사용자가 가진 노트북은 대부분 'RTX 3050 (4GB VRAM) / 메모리 16GB' 정도입니다.
이러한 리소스 제약 하에서,
1024차원 멀티링구얼 임베딩(BGE-M3), 크로스 인코더 재랭킹(BGE Reranker v2), 고품질 신경 음성 합성(Kokoro-82M TTS), 대량 문서의 SQLite WAL 고속 검색
을 충돌 없이 동시에 구동하려면 치밀한 멀티프로세스 설계와 메모리 조율이 필수적입니다.
본고에서는 50만 자가 넘는 기술 서적을 클라우드 API 제로(zero)로 7:1 압축하고, 원문으로의 클릭 가능한 인용 링크를 자동 생성하는 OSS 리더 'Omnitome' 개발 과정에서 얻은 실전 지식을 공유합니다.
▲ 생성된 문절에서 근거가 되는 원문으로 직접 이동하여 검증 가능 (Clickable Provenance)
**GitHub (전체 소스):**https://github.com/ayumu-ml/Omnitome -
**Product Hunt:**https://www.producthunt.com/products/omnitome
Electron과 같은 단일 프로세스 + 웹 기술 구성은 무거운 AI 모델 로드나 Python 생태계를 포함하게 되면 비대해지고 메모리를 낭비합니다. 따라서 다음의 세 계층으로 책임을 분리했습니다.
[Tauri v2 (Rust)] → 창 관리・프로세스 라이프사이클・정리
│
▼ (HTTP REST)
...
Python의 멀티프로세스나 Rust에서 직접 SQLite에 쓰기 작업을 수행할 경우, 트랜잭션 충돌이나 락 대기로 인한 타임아웃, 최악의 경우 파일 손상 위험이 높아집니다.
Omnitome에서는 better-sqlite3
의 WAL 모드를 Node.js 측에만 적용하고, 모든 데이터 읽기/쓰기를 Node.js를 통해 일원화했습니다. Python 사이드카는 완전한 스테이트리스(stateless) 계산 엔진으로 기능합니다.
4GB VRAM 환경에서 BGE-M3 (약 2.1GB), BGE Reranker (약 2.2GB), Kokoro TTS (약 700MB)를 상시 구동하면, 총합이 5GB를 초과하여 순식간에 CUDA OOM(Out Of Memory)이 발생합니다.
▲ 완전 오프라인에서의 Kokoro 신경 음성 합성 및 포커스 독서 경험
시작 시에는 BGE-M3 (임베딩용)만 로드합니다. Reranker나 TTS는 첫 호출 시에만 초기화(Lazy Warming)됩니다.
처리 종료 후에는 슬라이딩 타이머(TTL, Time To Live)를 통해 유휴 상태가 지속된 모델을 자동으로 언로드하고, torch.cuda.empty_cache()와 gc.collect()로 최대 3.2GB의 VRAM을 OS에 즉시 반환합니다.
class ModelLifecycleManager:
"""유휴 시간에 따라 무거운 모델을 VRAM에서 자동 퇴거시키는 클래스"""
def __init__(self, ttl_seconds=300):
...
초기 구현에서는 8만 단어 분량의 기술 서적을 임포트할 때 Promise.all로 모든 장(chapter)에 대한 벡터화 및 DB 쓰기를 병렬 처리했기 때문에, Node.js의 힙 메모리가 14GB를 초과하여 OS 충돌을 일으켰습니다.
// 제어된 큐를 통한 순차 처리를 통한 메모리 고정화
async function processDocumentSlices(slices) {
for (let i = 0; i < slices.length; i++) {
...
그 결과, 10권・50만 자가 넘는 일괄 임포트 시에도 Node.js 프로세스의 RAM 소비를 상시 296 MB 이하로 유지하는 데 성공했습니다.
영어권에서 만들어진 텍스트 처리 라이브러리를 그대로 사용하면, 일본어의 경우 단어 구분 공백이 존재하지 않기 때문에 text.split(/\\\s+/\/)가 수천 자를 하나의 단어로 오판합니다.
그 결과, 청크 분할이 제대로 작동하지 않아 토크나이저가 규정된 컨텍스트 길이를 크게 초과하여 충돌합니다 (일명 '바보의 사랑' 버그).
function countWordsCJK(text) {
if (!text) return 0;
const latinCount = (text.match(/[A-Za-z0-9_-]+/g) || []).length;
...
}
또한, 청크 크기가 8,000자를 초과하는 경우에는 구두점(。 또는 .) 경계에서 강제로 안전 분할하는 가드(guard)를 적용했습니다.
제한된 로컬 머신의 하드웨어 자원에서도,
프로세스 책임의 엄격한 분리 (단일 SQLite 라이터)
모델의 지연 로딩 및 TTL 에비션(eviction)을 통한 VRAM 조정
순차 실행 큐를 이용한 Node.js 힙 고정화
언어 특성에 맞춘 청크 경계 가드
이러한 방법들을 철저히 적용함으로써, 상용 클라우드 API에 의존하지 않는 빠르고 높은 정확도의 로컬 AI 데스크톱 환경을 구축할 수 있습니다.
전체 소스 코드는 GitHub에서 공개하고 있으니, Tauri나 로컬 LLM/RAG 앱을 개발하시는 분들께 참고가 되기를 바랍니다.
**GitHub:**https://github.com/ayumu-ml/Omnitome -
**Product Hunt:**https://www.producthunt.com/products/omnitome