실제 규제 준수 질의응답을 위한 인용 폐쇄형 검색 및 규칙별 속성 부여
요약
규제 준수 질의응답을 위한 새로운 벤치마크인 RegOps-Bench와 통합 프레임워크 RefWalk를 제안합니다. 기존 RAG의 한계를 극복하기 위해 지식 그래프와 규칙별 속성 부여를 활용하여 인용 정확도와 추적 가능성을 높였습니다.
핵심 포인트
- 규제 준수 QA를 위한 새로운 벤치마크 RegOps-Bench 제안
- 인용 탐색 및 다중 뷰 후보 융합을 위한 RefWalk 프레임워크 개발
- 규칙별 속성 부여를 통한 엄격한 추적 가능성 확보
- 기존 RAG 시스템의 파편화된 인용 및 속성 부여 문제 해결
규제 준수(Regulatory Compliance)를 위해 대규모 언어 모델(LLMs)을 배포하려면 다층적 권위 구조 전반에 걸친 포괄적인 인용을 통해 엄격한 추적 가능성(Traceability)을 확보해야 합니다. 전통적인 멀티홉(Multi-hop) 또는 법률 질의응답(QA)과 달리, 이 작업은 개체 해소(Entity Resolution)나 판례 추론보다는 구조화된 절차적 조회(Procedural Lookups) 및 증거 집합 폐쇄(Evidence-set Closure)를 요구합니다. 기존의 검색 증강 생성(RAG) 시스템은 평탄화된 인용 엣지(Citation Edges), 파편화된 검색 확장, 그리고 취약한 사후 속성 부여(Post-hoc Attribution) 문제로 인해 이 분야에서 어려움을 겪고 있습니다. 우리는 복잡한 국가 R&D 규정에서 파생된 운영 지식 그래프(Operational Knowledge Graph)를 특징으로 하는 새로운 벤치마크인 RegOps-Bench를 통해 규제 준수 질의응답(Regulatory Compliance QA)을 공식화합니다. 이러한 병목 현상을 해결하기 위해, 우리는 공유된 주제 앵커(Topic Anchor)에 의해 구동되는 통합 프레임워크인 RefWalk를 제안합니다. RefWalk는 문서 간 인용을 탐색하고, 최대값 기반 집계(Max-based Aggregation)를 통해 다중 뷰 후보(Multi-view Candidates)를 융합하며, 주장을 출처에 명시적으로 매핑하기 위해 규칙별 속성 부여(Per-rule Attribution)를 강제합니다. 우리는 검색 재현율(Retrieval Recall)과 인용 정확도(Citation Accuracy)에서 상당한 개선을 보이며 강력한 베이스라인을 구축했습니다. 마지막으로, 미국 의료 준수 데이터셋(HIPAA)에 대한 대조 평가를 통해 기존 시스템들이 평탄한 구조의 규칙에서 포화 상태를 보임을 확인하였으며, 이는 RegOps-Bench의 필요성을 강조합니다. 우리의 코드는 https://github.com/yeongjoonJu/RefWalk 에서 확인할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기