JobHop v2: 비정형 이력서 기반 대규모 경력 궤적 데이터셋
요약
본 논문은 대규모의 비정형 이력서 기반 경력 궤적 데이터셋인 JobHop v2를 제시합니다. 이는 VDAB에서 제공한 다국어 이력서 말뭉치로부터 LLM 추출을 통해 구축되었으며, $355,315$개의 경력 궤적을 포함합니다. JobHop v2는 원래 버전보다 커버리지와 주석 풍부도를 확장하고, 개선된 추론 파이프라인과 평가 프로토콜을 도입하여 연구 재현성을 높였습니다.
핵심 포인트
- JobHop v2는 $355,315$개의 경력 궤적을 포함하는 대규모 데이터셋이다.
- 비정형 이력서 기반으로 구축되어 실제 노동 시장 데이터를 반영한다.
- 개선된 LLM 추출 파이프라인과 평가 프로토콜을 통해 연구 신뢰도를 높였다.
- 연구 커뮤니티에 재현 가능한 경력 궤적 분석 환경을 제공한다.
대규모의 풍부하게 주석이 달린(annotated) 경력 궤적 데이터는 인력 계획, 직업 추천 및 노동 시장 분석의 근간을 이루지만, 현재 공개적으로 사용 가능한 데이터셋은 크기가 작거나, 독립적인 사용에 폐쇄되어 있거나, 혹은 LLM으로 합성된 것이 아닌 실제 자유 텍스트가 아닌 사전 표준화된 직업 코드를 기반으로 구축되었습니다. 우리는 VDAB(플란데런트 공공 고용 서비스)에서 제공한 ${ ext{}}440{,}000$개의 가명 처리된 다국어 이력서 말뭉치로부터 엔드투엔드로 대규모 언어 모델(LLM) 추출을 통해 구축된, 공개적으로 사용 가능한 JobHop 데이터셋의 개선 버전인 JobHopv2를 제시합니다. 공개된 데이터셋은 ESCO 직업 코드, 분기별 시간 정보 및 정규화된 5단계 학력 성취도로 주석이 달린 $355{,}315$개의 경력 궤적을 포함하며, 이는 원래 버전의 커버리지와 주석 풍부도를 모두 확장합니다. v1에 비해 JobHop~v2는 재시도 메커니즘(retry mechanism)을 갖춘 추론 제어 LLM 추론 기반으로 재설계된 추출 파이프라인, 더 풍부한 추출 스키마, 그리고 세 가지 보완적인 주석 기준선(annotation baselines)에 대해 점수화된 수정된 평가 프로토콜을 도입합니다. 이러한 기준선들을 대상으로 평가했을 때, 우리의 최적 추출기는 비교된 모든 모델들 중 주석가 간 합의도 천장치에 가장 근접하며, 단지 1.1-2.7 퍼센트 포인트만큼 뒤처집니다. 이 데이터셋과 코드는 재현 가능한 경력 궤적 연구를 지원하기 위해 공개적으로 배포됩니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기