HERMES: 사전 학습 데이터 혼합을 위한 다중 입도 레이블링 기질 (Multi-Granularity Labeling Substrate)

요약

HERMES는 데이터 혼합 시 발생하는 레이블링의 입도 문제를 해결하기 위해 계층적 구조를 제공하는 데이터 유도형 레이블링 기질입니다. 3단계 잔차 벡터 양자화를 통해 문서를 조밀도에 따라 미세하게 주석을 달 수 있으며, 이를 통해 사전 학습 데이터의 효율적인 구성을 가능하게 합니다.

핵심 포인트

• 기존의 단일 입도 레이블링 한계를 극복하는 계층적 시스템 제안
• 3단계 잔차 벡터 양자화를 통한 coarse-to-fine 코드 생성
• 데이터 혼합 설계를 고정된 레이블 선택에서 입도 계층 탐색으로 전환
• 사전 학습 실험을 통해 특정 규칙 적용 시 모델 성능 향상 입증