RegExtract: LLM을 활용한 PFAS 규제 정보 추출 벤치마크

규제 문서에서 구조화된 정보를 추출하는 것은 중요하지만 어려운 작업입니다. 관련 사실들은 길고 법률적으로 밀도가 높은 텍스트 전반에 걸쳐 흩어져 있으며, 추출된 사실이 출처와 추적 가능해야 검증이 필수적입니다. 과불화화합물 및 다불화알킬 물질(PFAS)의 환경적 및 건강에 미치는 영향에 대한 인식이 높아지면서, 규제 문서는 범위와 제품 관련성 면에서 크게 확장되었고, 이는 제조업체와 정책 입안자 모두에게 해석을 어렵게 만들고 있습니다. 본 논문에서는 20개 미국 주 문서와 46개 규정을 아우르는 488개의 인간이 주석 처리한 필드 인스턴스로 구성된 PFAS 규제 문서의 구조화된 정보 추출 벤치마크인 RegExtract를 소개합니다. 각 필드 인스턴스는 값(value)과 출처(provenance) 항목을 포함하며, 총 976개의 항목을 제공합니다. 우리는 물질 정의, 허용 용도, 제품 면제와 같은 핵심 요소를 목표로 하는 유형화된 다중 필드 스키마를 정의하고, 규제 텍스트에 맞춤화된 출처 인식 평가 지표를 제안합니다. 프롬프팅 전략, 문서 압축 방법, 스키마 분할 접근 방식을 통해 오픈 소스 및 클로즈드 소스 LLM으로 실험한 결과, 문서 식별 필드는 여전히 어렵고, 필드별 Few-shot 예시가 추출 성능을 향상시킨다는 것을 발견했습니다. 본 연구는 유해 물질 식별, 질의응답(question answering), 규정 준수 모니터링을 위한 AI 도구의 기반을 마련합니다. 코드와 데이터는 https://github.com/IBM/PFAS-regulations에서 이용 가능합니다.