GraphRAG가 어떻게 인도 제약 데이터에서 LLM 토큰 비용을 62% 절감했는가

LLM (Large Language Model) 기반 애플리케이션 시대에 토큰 소비는 계속해서 늘어나는 숨겨진 청구서와 같습니다. 벡터 기반의 RAG (Retrieval-Augmented Generation)가 도움이 되기는 하지만, 이는 관계가 아닌 청크 (chunks)를 검색합니다. 제약 산업과 같이 복잡한 도메인에서는 약물, 질병, 제조사를 가로지르는 멀티 홉 추론 (multi-hop reasoning)이 일반적이며, 벡터 검색은 종종 실패하곤 합니다. 우리는 TigerGraph 기반의 GraphRAG가 훨씬 적은 토큰을 사용하면서도 더 높은 정확도로 이러한 질문에 답할 수 있음을 증명하기 위해, 세 가지 파이프라인 벤치마크인 PharmaIntel을 구축했습니다.

설정

• 200만 개 이상의 의료 기사 및 CDSCO 스타일의 인도 약물 트리플 (triples)
• 세 가지 파이프라인: LLM-Only, Basic RAG (ChromaDB), GraphRAG (TigerGraph Savanna)
• 지표: 토큰 (tokens), 지연 시간 (latency), 비용 (cost), LLM-Judge, BERTScore

결과
GraphRAG는 Basic RAG 대비 62%, LLM-Only 대비 79% 토큰 사용량을 삭감했으며, 정확도는 91%의 통과율(pass rate)과 0.72의 BERTScore F1로 향상시켰습니다. 비용은 쿼리당 $0.00126에서 $0.00048로 감소했습니다.

비결: 멀티 홉 그래프 트래버설 (Multi-Hop Graph Traversal)
벡터 RAG가 느슨한 청크를 검색하는 동안, GraphRAG는 명시적인 엣지 (edges)를 따라 이동했습니다: "Aspirin → treats → Inflammation → symptom of → Arthritis". 이러한 집중된 컨텍스트 덕분에 LLM은 장황하게 늘어놓지 않고도 정밀한 답변을 생성할 수 있었습니다.

비즈니스 영향
월 100,000건의 쿼리 기준, GraphRAG는 LLM-Only와 비교했을 때 $7,800 이상의 비용을 절감합니다. 대시보드에 포함된 대화형 ROI 슬라이더는 규모가 커질수록 그래프 기반 추론이 단순히 더 똑똑할 뿐만 아니라, 재무적으로도 필수적임을 증명합니다.

전체 데모, 코드 및 벤치마크 보고서는 저희 GitHub 저장소에서 확인하실 수 있습니다. " https://github.com/sachithags/graphrag-inference-hackathon