규제 준수 자동 감지: 도메인 간 데이터 선택 및 증강 전략

규제 준수(Regulatory Compliance) 감지는 법률 텍스트의 높은 복잡성과 가변성 때문에 인공지능 기술로 구현하기 매우 어려운 과제입니다. 특정 규제에 대해 학습된 모델이 다른 규제의 문맥이나 구조가 달라질 경우, 성능 저하를 보이는 '도메인 간 전이(Cross-Domain Transfer)' 문제가 발생합니다.

본 연구는 이러한 도메인 간의 한계를 극복하고 준수 감지 시스템의 일반화 능력을 향상시키는 데 초점을 맞추었습니다. 특히, 데이터 선택(Data Selection)을 핵심 전략으로 활용하여 모델 학습 시 발생하는 '부정적 전이(Negative Transfer)'를 완화하는 방법을 탐구했습니다.

연구 방법론: NLI 프레임워크와 네 가지 데이터 선택 기법

준수 감지 문제는 자연어 추론 (Natural Language Inference, NLI) 작업으로 정의되었습니다. 즉, 주어진 텍스트가 특정 규제 요건을 충족하는지 여부를 논리적으로 판단하는 문제입니다.

연구진은 대규모 소스 도메인(Source Domain)에서 목표 도메인(Target Domain)에 적합한 증강 데이터를 선택하기 위해 네 가지 접근 방식을 체계적으로 비교했습니다:

1. 무작위 샘플링 (Random Sampling): 가장 기본적인 방법으로, 데이터셋의 일부를 무작위로 추출합니다.
2. Moore-Lewis의 Cross-Entropy 차이: 모델의 예측 불확실성이나 정보량을 기반으로 데이터를 선택하는 방식입니다.
3. 중요도 가중치 부여 (Importance Weighting): 소스 도메인 데이터가 목표 도메인의 분포를 얼마나 잘 대표하는지 중요도를 계산하여 가중치를 부여합니다.
4. 임베딩 기반 검색 (Embedding-based Retrieval): 텍스트의 의미적 유사성을 임베딩 공간에서 측정하여 가장 관련성이 높은 데이터를 검색해냅니다.

연구는 선택된 데이터의 비율(Proportion)을 체계적으로 변화시키면서, 이 비율이 도메인 간 적응(Cross-Domain Adaptation) 성능에 미치는 영향을 분석했습니다.

핵심 결과 및 시사점:

분석 결과, 단순히 데이터를 많이 사용하는 것보다 목표 지향적인 데이터 선택 전략을 적용하는 것이 모델의 성능 향상에 결정적임을 입증했습니다. 특히, 네 가지 방법 중 어떤 접근 방식을 사용하느냐에 따라 부정적 전이 감소 효과가 크게 달라졌으며, 가장 적절한 방법을 찾아 활용할 경우 준수 감지 시스템의 신뢰성과 확장성을 획기적으로 높일 수 있음을 보여주었습니다.

결론적으로, 본 연구는 이질적인(heterogeneous) 다양한 규제 환경에 걸쳐 적용 가능한, 확장 가능하고 신뢰성 높은 자동화된 규정 준수 검사 시스템을 구축하는 실용적이고 체계적인 경로를 제시합니다.