단일 NVIDIA L4에서 자가 호스팅 LLM을 사용하여 임의의 문서나 압축 파일의 내용을 대화형 지식 그래프로 추출하기

요약

단일 NVIDIA L4 GPU 환경에서 자가 호스팅 LLM을 활용해 문서나 압축 파일로부터 지식 그래프를 추출하는 기술을 소개합니다. Qwen 양자화 모델과 llama.cpp를 사용하여 실시간 인터랙티브 그래프를 생성하며, 작업 스케줄링 및 체크포인트 복구 기능을 지원합니다.

핵심 포인트

• NVIDIA L4 단일 GPU로 자가 호스팅 LLM 구동 가능
• 텍스트, URL, ZIP 파일에서 (주체, 관계, 객체) 트리플 추출
• Qwen 양자화 모델 및 llama.cpp 기반의 효율적 구현
• 실시간 힘 지향 그래프(force-directed graph) 시각화 제공
• 의미론적 중복 제거 및 체크포인트 복구 기능 포함