JustDiag!: 책임 있는 근본 원인 분석 (RCA)을 위한 진단 근거 엔진

대규모 언어 모델 (LLM)은 유창한 근본 원인 분석 (Root Cause Analysis, RCA)을 생성할 수 있지만, 유창한 최종 답변만으로는 높은 이해관계가 걸린 (high-stakes) 운영 환경에서 책임성을 입증하기에 불충분합니다. 실제 사고 대응 시, 엔지니어는 어떤 증거가 진단을 뒷받침했는지, 어떤 대안들이 고려되었는지, 어디에 모순이 남아 있는지, 그리고 시스템이 사례를 해결했는지 아니면 불확실성을 유지했는지를 알아야 합니다. 우리는 증거, 발견 사항, 경쟁 가설, 충돌 및 다음 점검 사항에 대해 명시적인 프로세스 상태를 유지하는 RCA용 진단 근거 엔진인 JustDiag를 통해 이러한 격차를 해결합니다. 우리는 최종 답변의 품질과 프로세스 품질을 별도로 점검하는 2계층 프로토콜을 사용하여 66개의 실제 사고를 대상으로 시스템을 평가했습니다. 진단 근거가 없는 매칭된 대조군과 비교했을 때, JustDiag는 더 강력한 결과 및 프로세스 점수를 달성했으며, 더 정교하게 조정된 미결 상태 (non-closure)로 인해 최종 완료율은 약간 낮게 나타났습니다. 이러한 결과는 책임 있는 RCA를 위해 유창한 최종 답변뿐만 아니라 명시적인 진단 근거 산출물과 프로세스 인지적 (process-aware) 평가가 필요함을 시사합니다.