무음 데이터 부패의 해부학: GPU 오류 패턴 연구 및 모델링 가이드

요약

본 기사는 대규모 언어 모델 훈련 환경에서 발생하는 '무음 데이터 부패(SDC)' 문제를 다루며, 이 문제로 인해 GPU 클러스터의 신뢰성이 위협받는 상황을 설명합니다. 연구진은 63개 CUDA 마이크로 벤치마크에 게이트 레벨 결함 주입을 수행하여 SDC 특성을 분석했으며, 그 결과 NaN/무한대 값의 비율이 낮고 단일 비트 플립 이벤트가 전체의 일부만을 차지하며 부패 주소에 주기성이 있다는 통계적 사실을 밝혀냈습니다. 이러한 발견은 분포 기반의 상위 수준 결함 모델링 및 실제 GPU 아키텍처의 회복력 평가를 위한 현실적인 소프트웨어 기반 접근 방식을 제시합니다.

핵심 포인트

• 무음 데이터 부패(SDC)는 대규모 LLM 훈련 환경에서 심각한 신뢰성 위협 요인이다.
• 연구진은 63개 CUDA 마이크로 벤치마크에 게이트 레벨 결함 주입을 통해 SDC 특성을 분석했다.
• 분석 결과, NaN/무한대 값의 발생률이 예상보다 낮고(1.01%), 단일 비트 플립 이벤트가 전체 부패의 상당 부분을 차지하지 않는다.
• 부패 주소에서 주기성(periodicity)이 관찰되었으며, 이는 모델링에 중요한 통계적 근거를 제공한다.