대규모 언어 모델(LLM)을 사용한 개체 매칭(Entity Matching)용 학습 데이터 레이블링

요약

LLM을 교사 모델로 활용하여 개체 매칭(Entity Matching)을 위한 학습 데이터를 자동으로 레이블링하고, 이를 소규모 모델에 지식 증류하는 워크플로우를 제안합니다. 실험 결과, 기계로 레이블링된 데이터로 학습된 학생 모델이 수동 레이블링 모델과 대등한 성능을 보이면서도 비용과 시간을 획기적으로 절감함을 입증했습니다.

핵심 포인트

• LLM을 활용한 지식 증류로 작업 특화 학습 데이터 구축 비용 절감
• 기계 레이블링 데이터 기반 학생 모델이 기존 벤치마크와 유사한 성능 달성
• LLM 직접 사용 대비 추론 속도 최대 534배 향상
• 수동 레이블링 대비 시간 및 비용 측면에서 압도적인 효율성 증명