CelerLog: 동적 라우팅을 통한 빠른 로그 파싱 (Fast Log Parsing)

로그 파싱 (Log parsing)은 가공되지 않은 로그 메시지를 구조화된 형식으로 변환하는 자동화된 로그 분석의 핵심적인 단계입니다. 기존의 구문 기반 파서 (syntax-based parsers)는 의미론적 추론 (semantic reasoning) 능력이 부족하여 복잡한 로그를 처리하는 데 어려움을 겪습니다. 최근 등장한 LLM 기반의 의미론적 파서 (semantic parsers)는 높은 정확도를 달성하지만, 모든 로그에 대해 의미론적 추론 (semantic inference)을 적용하기 때문에 과도한 지연 시간 (latency)과 토큰 비용 (token costs) 문제를 겪습니다. 본 연구의 핵심 관찰 결과는 모든 로그가 복잡한 의미론적 이해를 필요로 하지는 않는다는 것입니다. 대다수의 로그는 단순한 통계적 분석 (statistical analysis)을 통해 추출할 수 있는 반복적인 패턴을 보입니다. 이러한 통찰을 바탕으로, 우리는 빠르고 효과적인 로그 파서인 CelerLog를 제안합니다. CelerLog는 로그를 밀집 그룹 (dense groups)과 희소 그룹 (sparse groups)으로 분류하는 동적 라우팅 (dynamic routing) 메커니즘을 도입합니다. 강력한 통계적 패턴을 가진 로그 (밀집 그룹)는 효율적인 통계 프로세서 (statistical processor)에 의해 처리되는 반면, 그러한 패턴이 부족한 희소 그룹은 의미론적 추론 (semantic inference)을 위해 LLM으로 라우팅됩니다. 이러한 하이브리드 전략은 불필요한 LLM 호출 (LLM invocations)을 방지합니다. 14개의 공개 데이터셋에 대한 광범위한 실험 결과, CelerLog는 최신 베이스라인 (state-of-the-art baselines) 대비 우수한 성능을 달성하였으며, LLM 방식보다 7.9배에서 18.6배 더 빠르고 Drain보다 최대 1.5배 더 빠릅니다. 또한, 토큰 소비량을 80.2% - 94.1% 줄이고 LLM 호출을 86.4% - 90.9% 감소시킴으로써 비용을 절감합니다.