LogCopilot: 대규모 언어 모델(LLM)을 통한 로그 집계 분석 자동화

로그(Logs)는 소프트웨어의 런타임 동작을 기록하며 디버깅(debugging), 테스트(testing), 결함 진단(fault diagnosis)과 같은 다양한 작업에 널리 사용됩니다. 시스템의 규모와 복잡성이 증가함에 따라 로그 분석은 점차 까다로운 작업이 되었습니다. 현재의 산업 시스템은 일반적으로 Grafana Loki 및 ELK와 같은 로그 집계 시스템을 사용하여 로그 수집 및 분석 프로세스를 단순화합니다. 엔지니어들은 이러한 시스템에서 제공하는 DSL(Domain Specific Language) 쿼리 언어를 사용하여 쿼리를 작성함으로써 다양한 로그 분석 작업을 완료할 수 있습니다. 그러나 이러한 쿼리를 작성하는 것은 엔지니어가 DSL 구문과 로그에 포함된 상세 정보에 대해 철저한 이해를 갖추어야 하므로 종종 시간 소모적이고 노동 집약적입니다. 이러한 문제를 해결하기 위해, 본 논문은 대규모 언어 모델(LLMs)에 기반한 자동화된 로그 집계 분석 프레임워크인 LogCopilot을 제안합니다. LogCopilot은 자연어 로그 분석 지침을 수용하고 지식 검색(knowledge retrieval) 및 도구 호출(tool calling)을 통해 자동화된 로그 분석을 수행합니다. LogCopilot은 로그의 핵심 지식을 표현하고 제공하기 위해 계층적 지식 베이스(hierarchical knowledge base)를 구축합니다. 그리고 LogQL 쿼리를 생성하고 실행함으로써 자동화된 로그 집계 분석을 달성합니다. 4개의 로그 데이터셋을 기반으로 한 평가는 LogCopilot의 효과성을 확인시켜 주며, LogCopilot은 평균 76.8%의 정확도를 달성하여 베이스라인(baseline) 방식들을 능가합니다. 또한, 실험 결과는 LogCopilot이 LogQL 쿼리 생성에 효과적임을 보여줍니다.