EmbGen: 재조립된 코퍼스를 활용한 학습 방법

요약

EmbGen은 도메인 코퍼스를 엔티티-설명 쌍으로 분해하고 의미론적 구조를 기반으로 재조립하여 고품질의 합성 학습 데이터를 생성하는 새로운 파이프라인입니다. 기존 합성 데이터 생성 방식이 가진 출력의 균질화 문제를 해결하기 위해 클러스터 특화 프롬프트와 다양한 샘플링 전략을 사용합니다. 실험 결과, EmbGen은 데이터의 의미론적 이질성이 높을수록 기존 베이스라인 대비 비약적인 성능 향상을 보여주었습니다.

핵심 포인트

• 코퍼스를 엔티티-설명 쌍으로 분해하고 임베딩 유사도를 통해 의미론적 구조를 재구성함
• 근접, 클러스터 내부, 클러스터 간 샘플링 및 클러스터 특화 시스템 프롬프트를 활용하여 데이터 다양성 확보
• 기존 합성 데이터 생성 방식의 한계인 출력의 균질화 및 문서 간 의존성 포착 문제를 개선
• 높은 의미론적 이질성을 가진 데이터셋에서 기존 방식 대비 최대 88.9%의 이진 정확도(Binary Accuracy) 향상 달성