LogRouter: 빅데이터 시스템의 로그 질의응답을 위한 적응형 2단계 LLM 라우팅

요약

LogRouter는 자원이 제한된 환경에서 운영 로그 분석을 효율적으로 수행하기 위해 설계된 2단계 적응형 LLM 라우팅 시스템입니다. PySpark, Apache Druid, pgvector 등을 결합하여 쿼리를 직접 응답, 키워드 검색, SQL 생성, 의미론적 검색의 네 가지 경로로 최적화하여 전달합니다. 이를 통해 고성능 모델을 상시 사용하는 것보다 지연 시간을 55% 단축하면서도 높은 정확도를 유지하는 비용 효율적인 로그 질의응답을 구현했습니다.

핵심 포인트

• 비용 효율적인 2단계(two-level) 라우팅 메커니즘을 통해 쿼리 유형에 따라 최적의 실행 경로를 선택함
• Apache Druid와 pgvector를 활용한 이중 인덱스 저장소 구조로 키워드 및 의미론적 검색 지원
• Fixed-32B 베이스라인 대비 지연 시간을 55% 단축하면서도 정답 정확도를 안정적으로 유지
• Linux 데이터셋에서 94.7%의 높은 라우팅 정확도를 기록하며 실용성을 입증