실습 정보 (Lab Information)

데이터센터 AI 신뢰성 (Reliability) 팀은 애플리케이션 상태를 모니터링하고 운영 환경의 문제를 선제적으로 탐지하기 위한 지능형 도구를 설계하고 있습니다. 당신의 임무는 로그 파일을 읽고, 가장 심각한 장애를 식별하며, 간결하고 사람이 읽기 쉬운 요약을 생성하는 Python 기반의 로그 이상 탐지 및 요약기 (Log Anomaly Detector and Summarizer)를 구축하는 것입니다. 이를 통해 엔지니어들이 시스템 오류의 성격과 영향을 빠르게 이해할 수 있도록 돕습니다.

당신의 과제는 로그 파일에서 심각한 오류를 탐지하고 요약하는 Python 스크립트를 작성하는 것입니다. /root/openaiproject 디렉토리에 log_analyzer.py 파일이 생성되어 있습니다.

환경 변수에 제공된 api_key와 base_url을 사용하여 OpenAI 클라이언트를 초기화하세요.

analyze_log_anomaly(log_file_path: str) -> str 이라는 이름의 함수를 정의하세요.
...

참고 사항:

반드시 /root/openaiproject 폴더에서 작업해야 합니다.

이번 세션을 위한 OpenAI api_key 및 base_url은 /root/.bash_profile 아래에 제공됩니다.
...

python3 -m venv venv && source venv/bin/activate && pip install openai

최대 10번의 요청이 허용됩니다. 그 이후에는 속도 제한 (rate limiter) 오류가 발생할 수 있습니다. 따라서 요청을 신중하게 사용하세요.

실습 솔루션 (Lab Solutions)

파트 1: 실습 단계별 가이드라인

1단계 — 프로젝트 디렉토리로 이동

cd /root/openaiproject

2단계 — 가상 환경 생성 및 활성화

python3 -m venv venv
source venv/bin/activate

3단계 — OpenAI SDK 설치

pip install openai

4단계 — 환경 변수 확인

이전 실습을 바탕으로 실제 변수 이름을 확인하세요:

printenv | grep OPENAI

아마 다음과 같이 보일 것입니다:

OPENAI_API_KEY=...
OPENAI_API_BASE=...

만약 그렇다면, 코드에서 OPENAI_API_BASE를 사용하세요.

5단계 — log_analyzer.py 수정

vi /root/openaiproject/log_analyzer.py

파일 내용을 다음과 같이 교체하세요:

import os
from openai import OpenAI

...

저장:

6단계 — 스크립트 실행

python log_analyzer.py

출력 예시:

~/openaiproject ✖ python log_analyzer.py
1. 에러 유형 (Error Type): JVM 힙 고갈 (JVM heap exhaustion)로 인해 메인 스레드에서 발생한 OutOfMemoryError.
2. 즉각적인 영향 (Immediate Impact): 서비스가 즉시 종료되며, 이로 인해 잠재적인 다운타임 (downtime) 및 서비스 불능 상태가 발생할 수 있음.

파트 2: 초보자를 위한 쉬운 설명

이 실습이 수행하는 작업

이 실습에서 여러분은 간단한 AI 기반 로그 분석기 (log analyzer)를 구축하게 됩니다.

수백 또는 수천 개의 로그 항목을 수동으로 읽는 대신, AI는 다음과 같은 역할을 수행합니다:

로그 파일을 읽습니다.
로그 항목을 검토합니다.
가장 중요한 [CRITICAL] 이벤트에 집중합니다.
사람이 읽기 쉬운 짧은 요약본을 생성합니다.
문제의 즉각적인 영향을 설명합니다.

이는 엔지니어들이 심각한 운영 환경 (production) 문제를 빠르게 이해하는 데 도움을 줍니다.

로그 파일을 읽는 이유

with open(log_file_path, "r") as file:
    log_content = file.read()

이 코드는 로그 파일을 열고 그 모든 내용을 log_content라는 변수에 읽어 들입니다.

로그 예시:

[INFO] Service started
[WARNING] Memory usage high
[CRITICAL] Database connection failed

AI는 자신에게 전달된 정보만을 분석할 수 있습니다. 따라서 로그 파일의 내용이 API 요청 (API request)에 반드시 포함되어야 합니다.

시스템 메시지 (System Message)를 사용하는 이유

system_message = (
    "You are an auditor..."
)

시스템 메시지는 AI의 행동을 안내하는 지침 (instructions)을 제공합니다.

이 실습에서 시스템 메시지는 AI에게 다음과 같이 지시합니다:

감사관 (auditor) 역할을 수행할 것.
[CRITICAL] 로그 항목에 집중할 것.
에러 유형을 식별할 것.
즉각적인 영향을 설명할 것.
로그 파일 전체를 요약하는 것을 피할 것.

시스템 메시지를 AI가 반드시 따라야 하는 규칙이라고 생각하면 됩니다.

사용자 메시지 (User Message)를 사용하는 이유

user_message = f"""
Analyze the following log file.

Log Content:
{log_content}
"""

사용자 메시지에는 AI가 분석할 실제 데이터가 포함됩니다.

여기에는 로그 파일의 전체 내용이 포함됩니다.

다음과 같이 생각해보세요:

시스템 메시지 (System message) = 지침 (instructions)
사용자 메시지 (User message) = 데이터 (data)

AI는 사용자 메시지에 담긴 데이터를 분석하는 동안 시스템 메시지의 지침을 따릅니다.

낮은 온도 (Low Temperature)를 사용하는 이유
temperature=0.1

온도 (Temperature)는 AI가 얼마나 창의적인지를 제어합니다.

낮은 온도는 다음과 같은 특징을 가집니다:

더 일관된 응답을 생성합니다.
무작위성 (Randomness)을 줄입니다.
사실 정보에 집중합니다.
신뢰할 수 있는 요약 (Summary)을 생성하는 데 도움을 줍니다.

이는 창의성보다 정확성이 더 중요하기 때문에 로그 분석 (Log analysis)에 이상적입니다.

API가 로그를 처리하는 방식

스크립트가 로그 파일을 읽습니다.
로그 내용이 사용자 메시지 (User message)에 추가됩니다.
시스템 메시지 (System message)가 AI에게 무엇을 찾아야 하는지 알려줍니다.
요청이 AI 모델로 전송됩니다.
AI가 중요한 문제를 찾아내고 이를 요약합니다.
요약된 내용이 반환되어 터미널 (Terminal)에 출력됩니다.

출력 예시

만약 중요한 로그 항목이 다음과 같다면:

[CRITICAL] Database connection failed

AI는 다음과 같이 반환할 수 있습니다:

오류 유형 (Error Type): 데이터베이스 연결 실패 (Database Connection Failure)
즉각적인 영향 (Immediate Impact): 애플리케이션이 백엔드 데이터에 접근할 수 없으며 사용자 요청이 실패할 수 있습니다.

요약 내용만 콘솔 (Console)에 출력되므로, 엔지니어가 문제를 빠르게 이해하기 쉽습니다.

AI를 활용한 로그 분석

요약

핵심 포인트

실습 정보 (Lab Information)

실습 솔루션 (Lab Solutions)

리소스 및 다음 단계 (Resources & Next Steps)

📦 전체 코드 저장소 (Full Code Repository): KodeKloud Learning Labs

💬 토론 참여 (Join Discussion): DEV Community - 여러분의 생각과 질문을 공유해 주세요

💼 연결하기 (Let's Connect): LinkedIn - 여러분과 연결되기를 바랍니다

크레딧 (Credits)

• 모든 실습은 다음에서 제공되었습니다: KodeKloud

• 이러한 가치 있는 리소스를 제공해 주신 것에 대해 진심으로 감사드립니다.

댓글