숫자를 인식하는 임베딩 (Number-aware embeddings)

요약

기존 임베딩 모델들이 숫자의 크기나 순서를 제대로 인식하지 못하는 문제를 해결하기 위해, 숫자를 로그 자릿수(log magnitude)로 인코딩하는 새로운 아키텍처를 제안합니다. 정규 표현식과 128개의 빈(bins)을 활용한 미세 조정을 통해, ModernBERT 및 BGE 모델 대비 숫자 정렬 성능을 대폭 향상시켰습니다.

핵심 포인트

• 기존 MLM 기반 임베딩 모델은 토크나이저와 손실 함수 구조상 숫자의 크기 차이를 반영하지 못하는 한계가 있음
• 숫자를 로그 자릿수로 변환하고 128개의 빈(bins)에 부드럽게 인코딩하는 커스텀 아키텍처를 도입하여 이를 완화함
• H100 GPU 6시간 학습 결과, 문장 삼중항 정렬 성능에서 ModernBERT(38%)와 BGE-base-v1.5(34%)를 크게 상회하는 59%를 기록함
• 숫자가 포함된 HTML 테이블 등 구조화된 정량적 데이터 추출 작업에서 뛰어난 성능을 보임