Kubernetes Pod 장애의 근본 원인 해결: Memory Thrashing vs OOM

Memory Thrashing vs OOM: Kubernetes Pod 장애의 근본 원인 파헤치기

문제 상황

Kubernetes 환경에서 Pod 장애는 Out-of-Memory (OOM) 에러를 포함한 다양한 이유로 발생할 수 있습니다. 하지만 단순히 OOMKilled 이벤트를 개별적인 장애로만 취급하면 불완전한 사후 분석(post-mortem analysis)으로 이어질 수 있습니다. 실제로 커널(kernel)에 의해 시작된 종료(kill)는 종종 memory thrashing(메모리 스래싱)이라고 알려진 심각한 성능 저하 기간 이후에 발생하는 마지막 조치인 경우가 많습니다. 이는 시스템이 메모리를 회수하려고 시도하는 데 불균형적으로 많은 시간을 소비하면서, 프로세스의 기아 상태(starvation)를 유발하고 결국 종료에 이르게 할 때 발생합니다. Memory thrashing과 OOM의 차이를 이해하는 것은 효과적인 트러블슈팅(troubleshooting)과 Pod 장애 예방을 위해 매우 중요합니다.

기술적 분석

Memory thrashing은 시스템의 메모리 회수 효율성에 대한 통찰을 제공하는 Pressure Stall Information (PSI) 지표를 분석하여 식별할 수 있습니다. 높은 PSI 비율은 커널이 메모리 페이지(memory pages)를 확보하기 위해 분투하는 동안 프로세스들이 정체(stalling)되고 있음을 나타냅니다. 반대로, 낮은 PSI 비율은 커널이 메모리를 효율적으로 회수하고 있음을 시사합니다.

노드 수준의 상태를 조사하고 잠재적인 메모리 고갈을 식별하려면 다음 kubectl 명령어를 사용할 수 있습니다:

kubectl get events --field-selector=involvedObject.kind=Node --field-selector=involvedObject.name=<node-name>

SystemOOM 또는 NodeHasMemoryPressure 이벤트를 확인하십시오. 이는 Pod가 자체적인 메모리 누수(memory leak) 때문이 아니라, 자신의 QoS 클래스(QoS class)나 노드 압박(node pressure)의 희생양이었음을 나타낼 수 있습니다.

더 상세한 분석을 위해, 커널 로그를 조사하여 OOM killer에 의해 취해진 정확한 조치를 확인하십시오:

dmesg -T | grep -i -E 'oom-kill|killed process'

이를 통해 Pod 장애로 이어진 일련의 사건 흐름을 이해하는 데 도움이 될 것입니다.

해결책 / 패턴

Memory thrashing을 완화하고 OOM 에러를 방지하려면 다음의 모범 사례를 따르십시오:

1. PSI 지표 모니터링 (Monitor PSI metrics): 잠재적인 메모리 스래싱 (Memory thrashing) 문제를 감지하기 위해 PSI 비율을 정기적으로 확인하십시오.
2. QoS 클래스 조정 (Adjust QoS classes): Pod가 메모리 요구 사항에 따라 올바른 QoS 클래스를 할당받았는지 확인하십시오.
3. 컨테이너 메모리 제한 최적화 (Optimize container memory limits): 과도한 할당을 방지하고 OOM 에러 발생 가능성을 줄이기 위해 컨테이너에 현실적인 메모리 제한을 설정하십시오.
4. 효율적인 메모리 회수 구현 (Implement efficient memory reclaiming): 메모리 압박 (Memory pressure)을 줄이기 위해 페이지 캐시 플러싱 (Page cache flushing) 또는 스와핑 (Swapping)과 같은 메커니즘을 사용하십시오.

QoS 클래스와 컨테이너 메모리 제한을 조정하기 위한 설정 예시 스니펫:

apiVersion: v1
kind: Pod
metadata:
...

핵심 요약 (Key Takeaway)

Kubernetes 환경에서 Pod 장애를 조사할 때는 메모리 스래싱 (Memory thrashing)과 OOM 에러를 구분하는 것이 필수적입니다. 전자는 후자의 전조 증상일 수 있으며, 메모리 스래싱의 근본 원인을 해결함으로써 이후에 발생할 수 있는 OOM 에러를 방지할 수 있습니다.