채용 공고를 활용한 AI 기술 및 작업의 맞춤형 분류 체계 구축
요약
본 연구는 LLM을 활용하여 대규모 코퍼스로부터 맞춤형 계층적 분류 체계(Taxonomy)를 구축하는 방법론을 제안합니다. 채용 공고 데이터를 사례로 사용하여, 데이터의 양보다 적절한 필터링을 통한 데이터 품질이 더 명확하고 정교한 도메인 특화 분류 체계를 만드는 데 효과적임을 입증합니다.
핵심 포인트
- LLM 기반 자동화된 분류 체계 구축을 위한 프레임워크인 TaxonomyBuilder 제안
- 대규모 데이터 입력보다 전략적인 데이터 필터링이 더 높은 분류 명확성을 제공함
- 데이터 기반의 맞춤형 및 계층적 분류 체계 구성 방식 평가
- 채용 공고 코퍼스를 활용한 AI 기술 및 작업 분류 사례 연구
LLM (Large Language Models)을 활용한 자동화된 분류 체계 (Taxonomy) 구축은 잠재적으로 복잡한 도메인을 포괄적이면서도 효율적으로 매핑할 수 있는 명확한 기회를 제공합니다. 그러나 급격히 증가하는 대규모 코퍼스 (Corpora)를 다룰 때는, 최적의 분류 체계 구축을 위해 이러한 데이터를 어떻게 가장 잘 활용할지가 불분명해집니다. 직장에서의 AI 기술을 체계화하는 사례를 통해, 본 연구에서는 두 개의 대규모 채용 공고 코퍼스를 사용하여 분류 체계 구축을 위한 데이터 포인트의 포함(또는 제외)에 관한 주요 설계 결정 사항을 조사합니다. 우리는 체계적인 연구를 위한 청사진으로서 TaxonomyBuilder를 제안하며, 이를 통해 맞춤형, 데이터 기반 및 계층적 분류 체계의 다양한 구성을 평가합니다. 우리는 더 적은 데이터가 더 높은 명확성을 제공할 수 있음을 입증합니다. 즉, TaxonomyBuilder에 입력되는 데이터를 필터링하는 것이 클러스터링 (Clustering) 및 LLM 강화 계층적 분류 체계 레이블링 (Labeling) 도구에 필터링되지 않은 입력을 제공하는 것보다 더 나은 도메인 특화 범위를 제공합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기