문서를 증거 기반 지식 그래프로 변환하는 오픈 소스 파이프라인 JevGraph 구축

LLM을 사용한 지식 그래프 추출은 무한한 개체명 추출과 관계 추론 때문에 비용이 많이 드는 것으로 알려져 있습니다. Jev를 통해 정확도를 유지하면서 비용과 레이턴시(latency)를 줄일 수 있는지 확인하고 싶었습니다. FewRel 1.0 train_wiki에서 긍정 사례 160개를 고정했습니다: 16개 관계 × 10개 사례, 시드 17. Jev, GPT-5.6 Luna, 그리고 DeepSeek V4.1 Flash가 동일한 사례, 선택지, 순서 및 점수를 확인했습니다. 레이턴시 (p95): Jev — 431 ms, DeepSeek — 1,242 ms, Luna — 1,699 ms. Jev는 순차적인 단일 사례 요청에서 DeepSeek보다 2.9배 빠르고 Luna보다 3.9배 빨랐습니다. 계획된 결정 100개당 비용: Jev = 0.410¢, Luna = 1.225¢, DeepSeek = 1.462¢. 정확도 (미처리 사례를 부정확으로 계산): Jev — 87.5%, Luna — 89.375%, DeepSeek — 93.125%. 따라서 결과가 “Jev가 모든 면에서 승리한다”는 의미는 아닙니다. 이 작업에서는 실제 정확도와 트레이드오프를 가지면서 훨씬 빠르고 저렴합니다. 상위 파이프라인을 보완하는 Llamaindex의 DocJev 작업에 크레딧을 드립니다! /u/richie9830 제출 [링크] [댓글]