지식 그래프 추출을 위한 멀티 에이전트 LLM 기반 프레임워크를 통한 시스템 테스트 지원: 이더넷 스위치 시스템 사례 연구

기술 문서에는 시스템 테스트 (System Testing)와 같은 다운스트림 태스크 (Downstream Tasks)를 자동화하기 위한 풍부한 도메인 지식 (Domain Knowledge)이 포함되어 있습니다. 본 논문은 이더넷 스위치 설정 매뉴얼 (ESCMs)에 초점을 맞추고 있지만, 우리는 다양한 산업적 맥락에 적응할 수 있는 일반적인 프레임워크를 제안합니다. ESCMs는 이더넷 스위치 테스트를 위한 가치 있는 도메인 지식을 제공하지만, 반구조화된 (Semi-structured) 형식, 암시적인 단계 속성 (Implicit Step Attributes), 그리고 복잡한 섹션 의존성 (Section Dependencies)으로 인해 테스트 자동화에 직접 활용하기 어렵습니다. 이를 해결하기 위해, 우리는 ESCM으로부터 설정 지식을 구조화된 형태로 캡처하는 지식 그래프 (Knowledge Graphs, KGs)를 생성합니다. 우리는 세밀한 지식 그래프 스키마 (KG Schema)와 반복적인 추출-평가-개선 (Extract-Evaluate-Improve, EEI) 루프를 사용하여 ESCM으로부터 KGs를 추출, 평가 및 개선하는 멀티 에이전트 LLM 기반 프레임워크를 제안합니다. 50개의 실제 ESCM에 대한 평가 결과, 우리 프레임워크는 원래의 프롬프트 (Prompts)를 사용하여 높은 추출 정확도를 달성하였으며, 세 가지 추출 태스크 (Extraction Tasks) 전반에서 평균 정확도 점수가 0.97에서 0.99 사이로 나타났습니다. 까다로운 ESCM의 경우, EEI 루프는 수동 특정 프롬프트 정교화 (Manual-specific Prompt Refinement)를 통해 정확도를 더욱 향상시킵니다. 또한, LLM 판단과 인간 평가 사이에는 상당한 일치도가 나타났으며, 모든 추출 태스크에서 Cohen's kappa 계수가 최소 0.72 이상을 기록했습니다. 마지막으로, 산업 현장 테스터들의 피드백에 따르면 생성된 KGs가 다운스트림 테스트를 위한 유용하고 정확한 테스트 케이스 사양 (Test Case Specifications, TCSs) 생성을 지원할 수 있음을 보여줍니다.