TELLER: LLM 추론을 위한 비침습적 교차 계층 근본 원인 분석 (Root-Cause Analysis)
요약
LLM 추론 과정의 복잡한 교차 계층 문제를 해결하기 위한 비침습적 근본 원인 분석(RCA) 프레임워크인 TELLER를 제안합니다. NVTX/CUPTI 트레이스와 로그를 결합하여 요청별 호출 체인을 재구성하고, TPE 토크나이저를 통해 효율적인 분석을 수행합니다.
핵심 포인트
- 모델 수정 없이 트레이스와 로그를 활용하는 비침습적 방식
- TPE 토크나이저를 통해 트레이스 길이를 80% 이상 압축
- 멀티모달 모델을 통한 의심 연산자 국지화 및 자연어 설명 생성
- 수직적(노드 내) 및 수평적(노드 간) 관점의 통합 분석 지원
대규모 언어 모델 (LLM) 추론은 오프라인 워크로드에서 지속적으로 운영되는 소프트웨어 서비스로 진화했지만, 단일 요청이 추론 엔진 (inference engine), Python/C++ 백엔드 (backend), 호스트 CUDA API, GPU 커널 (kernels), 그리고 분산 통신 (distributed communication)에 걸쳐 이루어지기 때문에 근본 원인 분석 (root-cause analysis)은 여전히 어렵습니다. 기존의 프로파일러 (profilers)는 가공되지 않은 타임라인 (raw timelines)을 노출하는 반면, 로그 기반 진단은 교차 계층 실행 의미론 (cross-layer execution semantics)과 요청 수준의 구조를 놓치는 경우가 많습니다. 우리는 비침습적인 Trace 및 Log 인식 LLM 추론 근본 원인 분석 프레임워크인 TELLER를 제안합니다. TELLER는 모델 바이너리 (model binaries)를 수정하지 않고 NVTX/CUPTI 트레이스 (traces)와 서비스 로그를 먼저 수집한 다음, 요청별 호출 체인 트리 (call-chain trees)를 재구성하고 로그 라인을 상응하는 실행 단계와 정렬합니다. 우리는 부모-자식 구조, 시간적 순서, 통신 관계를 보존하는 의존성 인식 인과 컨텍스트 슬라이스 (dependency-aware causal-context slice)와, 이러한 슬라이스를 부모, 깊이, 지속 시간 속성을 가진 압축된 구조적 토큰 시퀀스로 압축하는 Trace Pair Encoding (TPE) 토크나이저 (tokenizer)를 도입합니다. 이러한 표현 방식 위에서, TELLER는 수치적 후보 국지화 (numeric candidate localization)와 비정상적인 단계를 공동으로 예측하고, 의심스러운 연산자 (operators)를 국지화하며, 자연어 설명을 생성하는 멀티모달 근본 원인 모델 (multimodal root-cause model)을 결합합니다. 멀티 노드 GPU 추론 워크로드에 대한 실험은 명확한 압축-정확도 트레이드오프 (compression-accuracy trade-off)를 보여줍니다. 적절한 TPE 어휘 (vocabulary)는 단계별 트레이스 길이를 80% 이상 줄이면서 수평적(교차 노드 통신) 및 수직적(노드 내 실행 스택) 관점 모두에서 최고의 전반적인 성능을 달성하는 반면, 더 공격적인 압축은 진단 품질을 실질적으로 저하시킵니다. 낮은 결함 사전 확률 (low-fault priors), 강화된 베이스라인 (baselines), 모달리티 절제 연구 (modality ablations), 설명 품질 점검, 그리고 트레이싱 오버헤드 (tracing overhead) 하에서의 추가 분석은 TELLER가 LLM 추론 RCA를 위한 실용적인 분류 (triage) 및 증거 국지화 (evidence-localization) 기반을 제공함을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기