Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
CelerLog는 로그의 복잡도에 따라 통계적 프로세서와 LLM을 동적으로 라우팅하는 하이브리드 로그 파싱 프레임워크입니다. 모든 로그에 LLM을 사용하지 않고 패턴 기반의 밀집 그룹은 통계 방식으로 처리하여 속도와 비용 효율성을 극대화했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기로그 파싱 (Log parsing)은 가공되지 않은 로그 메시지를 구조화된 형식으로 변환하는 자동화된 로그 분석의 핵심적인 단계입니다. 기존의 구문 기반 파서 (syntax-based parsers)는 의미론적 추론 (semantic reasoning) 능력이 부족하여 복잡한 로그를 처리하는 데 어려움을 겪습니다. 최근 등장한 LLM 기반의 의미론적 파서 (semantic parsers)는 높은 정확도를 달성하지만, 모든 로그에 대해 의미론적 추론 (semantic inference)을 적용하기 때문에 과도한 지연 시간 (latency)과 토큰 비용 (token costs) 문제를 겪습니다. 본 연구의 핵심 관찰 결과는 모든 로그가 복잡한 의미론적 이해를 필요로 하지는 않는다는 것입니다. 대다수의 로그는 단순한 통계적 분석 (statistical analysis)을 통해 추출할 수 있는 반복적인 패턴을 보입니다. 이러한 통찰을 바탕으로, 우리는 빠르고 효과적인 로그 파서인 CelerLog를 제안합니다. CelerLog는 로그를 밀집 그룹 (dense groups)과 희소 그룹 (sparse groups)으로 분류하는 동적 라우팅 (dynamic routing) 메커니즘을 도입합니다. 강력한 통계적 패턴을 가진 로그 (밀집 그룹)는 효율적인 통계 프로세서 (statistical processor)에 의해 처리되는 반면, 그러한 패턴이 부족한 희소 그룹은 의미론적 추론 (semantic inference)을 위해 LLM으로 라우팅됩니다. 이러한 하이브리드 전략은 불필요한 LLM 호출 (LLM invocations)을 방지합니다. 14개의 공개 데이터셋에 대한 광범위한 실험 결과, CelerLog는 최신 베이스라인 (state-of-the-art baselines) 대비 우수한 성능을 달성하였으며, LLM 방식보다 7.9배에서 18.6배 더 빠르고 Drain보다 최대 1.5배 더 빠릅니다. 또한, 토큰 소비량을 80.2% - 94.1% 줄이고 LLM 호출을 86.4% - 90.9% 감소시킴으로써 비용을 절감합니다.