문서를 구조화된 JSON으로 변환하기 위한 로컬 AI

데이터가 기기 외부로 유출되지 않으면서 PDF, 스캔본, 이미지에서 구조화된 JSON을 추출할 수 있는 무료 오픈 소스 도구를 개발해 왔으며, 이를 이곳에 공유하고자 합니다. 이 도구는 API, CLI 및 웹 UI를 제공합니다.

스택: Linux NVIDIA 환경의 vLLM 0.23.0을 통해 서빙되는 numind/NuExtract3-W4A16, 또는 Apple Silicon에서의 vLLM Metal을 사용합니다. JSON 스키마 (JSON Schema)를 정의하고 지침을 제공하며, 선택적으로 한두 개의 퓨샷 (few-shot) 예시를 추가하거나 사고 모드 (thinking mode)를 켤 수 있으며, 결과로 스키마 검증이 완료된 JSON을 반환합니다.

하드웨어: 24GB의 NVIDIA L4와 Mac 측면의 18GB 통합 메모리를 가진 M3 Pro에서 검증되었습니다. 기본 워크플로우를 위해서는 대략 16GB가 최소 사양이며, 더 긴 컨텍스트 (context)를 원한다면 24GB 이상이 필요합니다.

현재 한계점: 소형 양자화 추출 모델 (quantized extraction model)이므로, 매우 지저분하거나 밀도가 높은 문서의 경우 프런티어 클라우드 모델 (frontier cloud model)의 성능에는 미치지 못할 것입니다.

리포지토리 (Repo): https://github.com/parsehawk/parsehawk

어떻게 생각하시는지 알려주시거나 원하는 용도로 자유롭게 사용해 보세요! Apache 2.0 라이선스입니다.
https://preview.redd.it/u7rcv51ge9ah1.png?width=1481&format=png&auto=webp&s=1d6d299d1b6f2d280c3a538913c343d1d7ad6496
submitted by /u/shmimon11
[link] [comments]