실제 업무용 미상식 실체 분류를 위한 동적 텍스트 콘텐츠 획득

요약

본 논문은 기존 NLP 리소스가 실제 업무 환경의 특화된 미상식적 실체(novel entities)를 충분히 다루지 못하는 문제를 해결하기 위한 프레임워크를 제안합니다. 이 프레임워크는 사용자가 최소한의 금표 레이블만 제공하면, 웹 검색과 대규모 언어 모델(LLMs)을 결합하여 해당 실체의 기술적 텍스트 콘텐츠를 동적으로 획득합니다. 이렇게 확보된 풍부한 텍스트 데이터를 기반으로 도메인 전문가가 작업 특화 분류기를 쉽게 구축할 수 있도록 지원하며, 조직 및 의료 제공자 분류와 같은 실제 복잡한 도메인 문제에서 높은 성능을 입증했습니다.

핵심 포인트

• 기존 NLP 리소스의 한계: 기존 데이터셋은 실제 업무 환경에 필요한 특화된 미상식적 실체(novel entities)를 충분히 제공하지 못한다.
• 동적 텍스트 콘텐츠 획득: 사용자가 최소한의 금표 레이블만으로도 웹과 LLMs를 활용하여 해당 실체의 기술적 배경 텍스트를 자동으로 수집하는 방법을 제안했다.
• 작업 특화 분류기 구축 용이성: 이 프레임워크는 도메인 전문가가 복잡한 데이터 수집 과정 없이 작업에 특화된 분류기를 쉽게 만들도록 지원한다.
• 실제 적용 사례 검증: 조직(SIC 코드) 및 의료 제공자 분류와 같은 두 가지 실제 산업 도메인에서 높은 F1 점수를 달성하며 유효성을 입증했다.