LLM 기반 직무 스킬 추출을 위한 다중 모듈 프레임워크 (SRICL)

요약

채용 공고문에서 직무 스킬(skill)을 정확하게 추출하는 것은 인재 매칭 및 노동 시장 분석의 핵심입니다. 기존에 범용적인 대규모 언어 모델(LLMs)만 사용하면 경계가 불안정하거나 환각(hallucination) 같은 문제가 발생하기 쉽습니다. 본 논문은 이러한 문제를 해결하기 위해, 시맨틱 검색(SR), 인컨텍스트 학습(ICL), 지도 미세 조정(SFT)을 결합하고 결정론적 검증기(deterministic verifier)를 추가한 'SRICL' 프레임워크를 제안합니다. SRICL은 ESCO 같은 도메인별 주석 데이터를 활용해

핵심 포인트

• SRICL은 시맨틱 검색(SR), 인컨텍스트 학습(ICL), 지도 미세 조정(SFT)을 결합하여 LLM의 스킬 추출 정확도를 높였습니다.
• ESCo와 같은 도메인 특화 주석 데이터를 활용해 형식 제약이 걸린 프롬프트를 구성함으로써 경계 불안정성을 해결했습니다.
• 결정론적 검증기(deterministic verifier)를 도입하여 쌍 매칭, 비중복성, BIO 표기법의 유효성을 최소한의 재시도로 강제합니다.
• 다양한 분야와 언어에 걸친 6개의 공개 스팬 레이블 코퍼스에서 GPT-3.5 프롬프팅 기준선 대비 높은 STRICT-F1 성능 향상을 달성했습니다.