Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM을 활용한 근본 원인 분석(RCA) 시 답변의 신뢰성을 높이기 위해 진단 근거를 명시적으로 생성하는 JustDiag 엔진을 제안합니다. 증거, 가설, 충돌 사항 등을 추적하는 프로세스 중심의 접근법을 통해 운영 환경에서의 책임성을 강화합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델 (LLM)은 유창한 근본 원인 분석 (Root Cause Analysis, RCA)을 생성할 수 있지만, 유창한 최종 답변만으로는 높은 이해관계가 걸린 (high-stakes) 운영 환경에서 책임성을 입증하기에 불충분합니다. 실제 사고 대응 시, 엔지니어는 어떤 증거가 진단을 뒷받침했는지, 어떤 대안들이 고려되었는지, 어디에 모순이 남아 있는지, 그리고 시스템이 사례를 해결했는지 아니면 불확실성을 유지했는지를 알아야 합니다. 우리는 증거, 발견 사항, 경쟁 가설, 충돌 및 다음 점검 사항에 대해 명시적인 프로세스 상태를 유지하는 RCA용 진단 근거 엔진인 JustDiag를 통해 이러한 격차를 해결합니다. 우리는 최종 답변의 품질과 프로세스 품질을 별도로 점검하는 2계층 프로토콜을 사용하여 66개의 실제 사고를 대상으로 시스템을 평가했습니다. 진단 근거가 없는 매칭된 대조군과 비교했을 때, JustDiag는 더 강력한 결과 및 프로세스 점수를 달성했으며, 더 정교하게 조정된 미결 상태 (non-closure)로 인해 최종 완료율은 약간 낮게 나타났습니다. 이러한 결과는 책임 있는 RCA를 위해 유창한 최종 답변뿐만 아니라 명시적인 진단 근거 산출물과 프로세스 인지적 (process-aware) 평가가 필요함을 시사합니다.