모든 오류가 동일하지는 않다: 대규모 언어 모델 (LLM) 추론에서의 오류 전파에 관한 체계적 연구

대규모 언어 모델 (LLMs)은 고성능 컴퓨팅 (HPC) 워크플로우에 점점 더 통합되고 있으며, 코드 생성 및 도메인 특화 의사결정과 같은 다양한 관점을 통해 과학적 발견을 가속화하고 있습니다. 그러나 소프트 오류 (soft errors)가 어떻게 전파되고 LLM 추론에 영향을 미치는지에 대해서는 여전히 미개척 영역으로 남아 있습니다. 이러한 격차를 해소하기 위해, 우리는 구성 가능하고 결정론적인 결함 주입 (fault-injection) 프레임워크인 LLMFI를 제안하며, 이를 통해 LLM 추론에서의 오류 전파에 관한 포괄적인 연구를 제시합니다. LLMFI를 사용하여, 우리는 추론, 다국어, 수학 및 코딩 도메인을 아우르는 3개의 오픈 웨이트 (open-weighted) LLM과 13개의 대표적인 작업에 걸쳐 체계적으로 결함을 주입합니다. 또한, 우리는 중요한 취약성 패턴을 드러내는 세밀한 사례 연구를 수행합니다. 전반적으로, 우리의 연구는 LLM 추론에서의 오류 전파에 대한 이해를 증진하는 17가지 시사점을 도출하였으며, 소프트웨어 전용 수정을 통해 신뢰성을 향상할 수 있는 네 가지 저비용 (low-overhead) 방향을 소개하여 향후 오류 탐지 및 완화를 위한 실질적인 지침을 제공합니다.