LogRouter: 빅데이터 시스템의 로그 질의응답을 위한 적응형 2단계 LLM 라우팅

자체 호스팅되고 자원이 제한된 환경에서의 운영 로그 분석(Production log analytics)은 모든 쿼리를 대규모 언어 모델(Large Language Model, LLM)을 통해 라우팅하는 비용을 들이지 않으면서도, 방대한 로그 스트림에 대한 자연어 접근을 필요로 합니다. 본 논문에서는 TUBITAK BILGEM의 국가 빅데이터 플랫폼에 배포된 엔드 투 엔드(end-to-end) 로그 질의응답 시스템인 LogRouter를 소개합니다. 이 시스템은 PySpark 기반의 Drain3 수집 파이프라인, GPU 가속 임베딩(embeddings), 그리고 Apache Druid와 pgvector를 사용하는 PostgreSQL의 이중 인덱스 저장소를 결합합니다. 비용을 고려한 2단계(two-level) 라우터는 각 쿼리를 직접 응답, Druid 키워드 검색, SQL 생성을 포함한 템플릿 조회, pgvector 의미론적 검색(semantic retrieval)의 네 가지 실행 경로 중 하나로 전달하며, 2단계(Level-2) 라우터는 의미론적 경로를 위해 14B급 또는 32B급 생성기(generator) 중 하나를 선택합니다. 전용 코더 LLM(coder LLM)은 텍스트-투-SQL(text-to-SQL) 생성을 처리합니다. 우리는 온라인 전체 파이프라인 구성과 생성기를 격리한 오프라인 구성 모두에서 네 가지 LogHub 데이터셋(Linux, Apache, Windows, Mac; 총 70개 질문)을 통해 시스템을 평가했습니다. 라우터는 데이터셋 전반에 걸쳐 88.4%의 평균 정확도(mean accuracy)를 기록했으며 Linux에서는 94.7%를 달성했습니다. 전체 파이프라인은 평균 ROUGE-1 0.373, BERTScore 0.879, RAGAS Faithfulness 0.779, 그리고 엔드 투 엔드 지연 시간(end-to-end latency) 18.6초를 기록했습니다. 동일 조건의 오프라인 비교에서, 라우팅된 시스템은 Fixed-32B 베이스라인 대비 평균 지연 시간을 55% 단축(46.3초 대 102.1초)하면서도 정답 정확도(Answer Correctness)를 5.8포인트 이내로 유지했으며, 모든 데이터셋에서 Fixed-14B 베이스라인의 RAGAS Faithfulness를 상회했습니다. 따라서 비용을 고려한 디스패칭(Cost-aware dispatching)은 운영 로그 QA를 위한 실용적인 메커니즘입니다. 라우팅을 통해 항상 32B를 사용하는 구성의 품질 대부분을 회복하면서도 지연 시간은 절반 미만으로 줄일 수 있으며, L1 키워드 어휘집(keyword vocabulary)은 학습된 분류기(learned classifier) 없이도 높은 정밀도로 해당 라우팅 결정을 내릴 수 있게 합니다.