GraphRAG를 통한 인도 제약 데이터 기반 LLM 토큰 비용 62% 절감 사례
요약
본 기사는 GraphRAG가 인도 제약 데이터셋을 활용하여 LLM 기반 애플리케이션의 토큰 비용을 획기적으로 절감하고 정확도를 높인 사례를 다룹니다. 기존 벡터 RAG는 복잡한 도메인에서 관계 추론에 한계가 있어, TigerGraph 기반의 GraphRAG는 명시적인 그래프 구조와 멀티 홉 트래버설을 통해 필요한 컨텍스트만을 정밀하게 검색합니다. 그 결과, 토큰 사용량과 비용을 대폭 절감하면서도 높은 정확도를 유지할 수 있음을 입증했습니다.
핵심 포인트
- GraphRAG는 복잡한 도메인(제약 산업)에서 벡터 RAG의 한계를 극복하고 관계 기반 추론을 가능하게 합니다.
- TigerGraph 기반 GraphRAG를 사용했을 때, 토큰 사용량과 비용이 Basic RAG 대비 62%, LLM-Only 대비 79% 절감되었습니다.
- 정확도는 91%의 통과율(pass rate) 및 0.72의 BERTScore F1로 향상되어 성능 개선을 입증했습니다.
- 월 10만 건의 쿼리 기준으로 GraphRAG는 LLM-Only 대비 $7,800 이상의 비용 절감 효과를 가져옵니다.
GraphRAG가 어떻게 인도 제약 데이터에서 LLM 토큰 비용을 62% 절감했는가
LLM (Large Language Model) 기반 애플리케이션 시대에 토큰 소비는 계속해서 늘어나는 숨겨진 청구서와 같습니다. 벡터 기반의 RAG (Retrieval-Augmented Generation)가 도움이 되기는 하지만, 이는 관계가 아닌 청크 (chunks)를 검색합니다. 제약 산업과 같이 복잡한 도메인에서는 약물, 질병, 제조사를 가로지르는 멀티 홉 추론 (multi-hop reasoning)이 일반적이며, 벡터 검색은 종종 실패하곤 합니다. 우리는 TigerGraph 기반의 GraphRAG가 훨씬 적은 토큰을 사용하면서도 더 높은 정확도로 이러한 질문에 답할 수 있음을 증명하기 위해, 세 가지 파이프라인 벤치마크인 PharmaIntel을 구축했습니다.
설정
- 200만 개 이상의 의료 기사 및 CDSCO 스타일의 인도 약물 트리플 (triples)
- 세 가지 파이프라인: LLM-Only, Basic RAG (ChromaDB), GraphRAG (TigerGraph Savanna)
- 지표: 토큰 (tokens), 지연 시간 (latency), 비용 (cost), LLM-Judge, BERTScore
결과
GraphRAG는 Basic RAG 대비 62%, LLM-Only 대비 79% 토큰 사용량을 삭감했으며, 정확도는 91%의 통과율(pass rate)과 0.72의 BERTScore F1로 향상시켰습니다. 비용은 쿼리당 $0.00126에서 $0.00048로 감소했습니다.
비결: 멀티 홉 그래프 트래버설 (Multi-Hop Graph Traversal)
벡터 RAG가 느슨한 청크를 검색하는 동안, GraphRAG는 명시적인 엣지 (edges)를 따라 이동했습니다: "Aspirin → treats → Inflammation → symptom of → Arthritis". 이러한 집중된 컨텍스트 덕분에 LLM은 장황하게 늘어놓지 않고도 정밀한 답변을 생성할 수 있었습니다.
비즈니스 영향
월 100,000건의 쿼리 기준, GraphRAG는 LLM-Only와 비교했을 때 $7,800 이상의 비용을 절감합니다. 대시보드에 포함된 대화형 ROI 슬라이더는 규모가 커질수록 그래프 기반 추론이 단순히 더 똑똑할 뿐만 아니라, 재무적으로도 필수적임을 증명합니다.
전체 데모, 코드 및 벤치마크 보고서는 저희 GitHub 저장소에서 확인하실 수 있습니다. " https://github.com/sachithags/graphrag-inference-hackathon
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기