Holmes: 산업 규모의 혼합 언어 모바일 크래시를 위한 멀티모달 에이전트 기반 진단

초대형 규모의 산업용 애플리케이션에서 모바일 크래시(Crash)를 진단하는 것은 방대한 코드 양, 혼합 언어(Mixed-language) 환경의 복잡성, 그리고 로컬 환경에서의 실패 재현 불가능성으로 인해 매우 어려운 과제입니다. 기존의 정적 분석(Static analysis)은 확장성 문제로 어려움을 겪으며, 기존의 LLM 기반 에이전트들은 사후 분석(Post-mortem) 시나리오에서 사용할 수 없는 재현 가능한 환경에 의존하는 경우가 많습니다. 본 논문에서는 재현 없이도 실패 컨텍스트를 재구성하기 위해 스택 트레이스(Stack traces), 로그(Logs), 스레드 상태(Thread states)와 같은 멀티모달 런타임 신호(Multimodal runtime signals)를 합성하여 근본 원인 분석(Root cause analysis)을 자동화하는 멀티 에이전트 시스템인 Holmes를 제시합니다. Holmes는 계층적 Retrieve-Explore-Reason 아키텍처를 도입하여 저수준 아티팩트(Low-level artifacts, 예: 레지스터, 어셈블리)를 활용함으로써 오픈 소스 비즈니스 로직과 폐쇄형 시스템 프레임워크 사이의 의미론적 격차(Semantic gap)를 해소합니다. 런타임 단서(Runtime clues)를 사용하여 탐색 공간을 동적으로 압축함으로써, Holmes는 7,000만 라인 규모의 코드베이스를 정밀하게 탐색하여 비지역적 결함(Non-local defects)을 식별합니다. WeChat의 실제 크래시 데이터를 통해 평가한 결과, Holmes는 함수 수준의 결함 위치 파악(Fault localization)에서 87.6%의 정확도를 달성하였으며, 평균 조사 시간을 98% 이상 단축(약 77초로 감소)하여 노동 집약적인 디버깅을 효율적인 검증 워크플로우로 전환하는 데 탁월한 효과를 입증했습니다.