LLM 기반 직무 스킬 추출을 위한 다중 모듈 프레임워크 (SRICL)

채용 공고문(job advertisements)으로부터 직무 스킬(skill)을 추출하는 것은 후보자와 직무 매칭, 그리고 노동 시장 분석에 매우 중요한 기반 작업입니다. 하지만 범용적인 대규모 언어 모델(LLMs)만으로는 다음과 같은 문제점들이 발생하기 쉽습니다: 1) 잘못된 스팬 생성 (malformed spans), 2) 경계 이탈 (boundary drift), 3) 환각 현상 (hallucinations). 특히 희귀한 용어(long-tail terms)나 도메인 간의 변화가 클 때 이러한 문제가 두드러집니다.

본 논문에서는 이러한 문제를 해결하기 위해 'SRICL'이라는 LLM 중심의 다중 모듈 프레임워크를 제안합니다. SRICL은 세 가지 핵심 기술을 결합하고 여기에 결정론적 검증기(deterministic verifier)를 추가한 구조입니다.

1. 시맨틱 검색 (Semantic Retrieval, SR):
SR 단계에서는 ESCO와 같은 도메인별 주석 데이터셋에서 관련 문장과 정의를 가져옵니다. 이를 활용하여 형식 제약이 걸린 프롬프트(format-constrained prompts)를 구성함으로써, LLM의 출력 경계를 안정화하고 복잡한 스킬 조합(coordination)을 처리하는 능력을 향상시킵니다.

2. 인컨텍스트 학습 (In-Context Learning, ICL):
검색된 문맥 정보와 함께 모델에 입력되어 LLM이 특정 작업의 패턴을 이해하고 추론하도록 돕습니다.

3. 지도 미세 조정 (Supervised Fine-Tuning, SFT):
모델 자체를 해당 스킬 추출 작업에 맞춰 정렬(align)하여 출력 행동을 개선합니다.

4. 결정론적 검증기 (Deterministic Verifier):
가장 중요한 요소 중 하나로, LLM의 출력이 반드시 다음 세 가지 규칙을 준수하도록 강제합니다: 1) 쌍 매칭(pairing), 2) 비중복성(non-overlap), 3) BIO 표기법 유효성(BIO legality). 이 검증기는 최소한의 재시도만으로 높은 정확도를 보장하며, 최종 결과물의 신뢰성을 극대화합니다.

성능 및 의의:
SRICL 프레임워크는 다양한 분야와 언어에 걸친 6개의 공개 스팬 레이블 코퍼스에서 테스트되었습니다. 그 결과, 기존 GPT-3.5를 단순 프롬프팅한 기준선(baselines) 대비 현저하게 높은 STRICT-F1 성능 향상을 달성했습니다. 특히 유효하지 않은 태그나 환각된 스팬을 크게 줄여냄으로써, 자원이 부족하거나 여러 도메인에 걸친 환경에서도 신뢰할 수 있는 문장 수준의 배포가 가능함을 입증했습니다.