보증 사례(Assurance Case) 분석을 위한 그래프 진단 프레임워크 제안

보증 사례(Assurance Case)란 시스템의 요구사항이나 속성에 대한 주장을 뒷받침하는 증거를 포함하는 구조화된 주장 문서입니다. 특히 규제가 엄격한 산업 분야에서는 이 보증 사례가 컴플라이언스 및 안전 요건 충족에 결정적인 역할을 합니다.

본 연구는 이러한 보증 사례의 **구조(Structure)**와 **출처(Provenance)**를 분석하기 위한 그래프 진단 프레임워크를 제안합니다. 핵심적으로 두 가지 주요 과제에 초점을 맞춥니다:

1. 링크 예측 (Link Prediction): 주장 요소들 간의 숨겨진 연결 관계를 학습하고 식별하는 것입니다. 이는 보증 사례가 어떤 논리적 흐름으로 구성되었는지 이해하는 데 필수적입니다.
2. 그래프 분류 (Graph Classification): 해당 보증 사례가 최신 대규모 언어 모델(LLM)에 의해 생성된 것인지, 아니면 인간이 작성한 것인지를 구별하여 잠재적인 편향성(bias)을 탐지하는 것입니다.

연구진은 이 두 가지 분석을 모두 지원할 수 있도록 노드와 엣지로 표현된 공공 보증 사례 데이터셋을 구축했습니다. 실험 결과는 다음과 같은 중요한 성과를 보여주었습니다:

• 링크 예측 성능: Graph Neural Networks (GNNs)는 실제 보증 사례에 대해 강력한 링크 예측 성능(ROC-AUC 0.760)을 달성했으며, 이는 다양한 도메인 및 준지도 학습 환경에서도 우수한 일반화 능력을 보여주었습니다.
• 출처 탐지 성능: GNNs를 활용하여 인간 작성물과 LLM 생성물을 효과적으로 구별해냈으며, 그 성능은 F1 스코어 0.94에 달했습니다. 이는 단순히 문법적 오류를 찾는 것을 넘어, 사례의 근본적인 구조적 차이를 포착했음을 의미합니다.
• 패턴 분석: 연구진은 LLM이 생성한 보증 사례가 인간 작성물과 비교했을 때 다른 계층적 연결 패턴(hierarchical linking patterns)을 가진다는 점을 관찰했습니다. 이는 AI 모델의 추론 방식에 대한 중요한 통찰을 제공합니다.

마지막으로, 기존의 GNN 설명 방법들(explanation methods)이 예측된 추론 과정과 실제 주장 구조 간의 일치도(faithfulness)가 중간 정도에 그치는 한계를 보여주었으며, 이는 향후 연구에서 개선해야 할 중요한 격차(gap)를 제시합니다. 이 프레임워크는 규제 산업의 신뢰성 확보와 AI 기반 문서 검증 시스템 개발에 큰 기여를 할 것으로 기대됩니다.