Ekka: LLM 추론에서의 잠재적 오류(Silent Errors) 자동 진단

LLM 서빙 프레임워크(LLM serving frameworks)는 복잡한 소프트웨어 스택과 방대한 수의 최적화 기술과 함께 빠르게 진화하고 있습니다. 이러한 급격한 개발 과정은 명시적인 오류 신호 없이 출력 품질이 조용히 저하되는 잠재적 오류(silent errors)를 유발할 수 있습니다. 잠재적 오류의 진단은 상위 수준의 증상(symptoms)과 하위 수준의 근본 원인(root causes) 사이의 상당한 의미론적 격차(semantic gap)로 인해 매우 어려운 것으로 알려져 있습니다. 우리는 의미론적으로 올바른 참조 구현체(reference implementations)의 존재를 활용함으로써, 잠재적 오류의 진단이 차분 디버깅(differential debugging) 문제로 효과적으로 구성될 수 있음을 관찰했습니다. 우리는 대상 프레임워크와 참조 프레임워크 간의 중간 실행 상태(intermediate execution states)를 체계적으로 정렬하고 비교하여 근본 원인을 식별하는 자동화된 진단 시스템인 Ekka를 제안합니다. 우리는 인기 있는 서빙 프레임워크들로부터 실제 잠재적 오류 벤치마크를 구축하였으며, Ekka는 80%의 pass@1 진단 정확도와 88%의 pass@5 진단 정확도를 보여주며 최신 기술(state-of-the-art) 시스템들을 능가했습니다. 또한 Ekka는 서빙 프레임워크에서 4개의 새로운 잠재적 오류를 진단하였으며, 이들은 모두 개발자들에 의해 확인되었습니다.