필드 순서는 중요하지 않아야 한다: 구조화된 메타데이터 검색을 위한 순열 불변 (Permutation-Invariant) 임베딩 모델 미세 조정

우리는 각 레코드가 서로 다른 종류의 쿼리에 답하는 필드들로 구성된 작은 스키마(schema)인 구조화된 메타데이터 카탈로그에 대한 검색을 연구합니다. 텍스트 인코더(text encoder)를 사용하여 레코드를 임베딩할 때는 먼저 필드들을 하나의 문자열로 직렬화(serialize)하는데, 이 과정에서 필드 순서를 선택해야만 합니다. 우리는 보통 구현 세부 사항으로 취급되는 이 선택이, 인코더가 미세 조정(fine-tuned)된 이후에는 검색 품질을 암묵적으로 제어한다는 것을 보여줍니다. 표준적인 미세 조정 방식은 인덱스가 다른 필드 순서로 재구축될 경우 nDCG@10 점수가 7.4포인트 하락하는데, 이는 모델이 필드 레이블(field labels) 대신 절대적 위치(absolute position)를 읽기 때문입니다. 우리는 각 레코드를 무작위 필드 드롭아웃(random field dropout)과 함께 새로 샘플링된 필드 순서로 직렬화하여, 의미가 위치가 아닌 레이블에 결합되도록 하는 순열 불변 미세 조정 ($\textbf{PI-FT}$, permutation-invariant fine-tuning)을 제안합니다. 이 변경 사항은 데이터 로더(data loader)에서 약 두 줄 정도의 코드 수정에 불과하며, 분포 내(in-distribution) 정확도 손실은 무시할 수 있는 수준인 반면 순서 변경에 따른 페널티를 0.2포인트로 줄여줍니다. 우리는 이를 개발 통계(development statistics) 발견 작업에서 연구하였는데, 이는 자체 호스팅이 가능할 만큼 작은 모델로도 여러 언어에서 검색할 수 있어야 하는 약 10,000개의 지표(indicators)로 구성된 카탈로그입니다. AI 어시스턴트와 에이전트가 공공 데이터 및 통계에 대한 접근을 점점 더 중재함에 따라, 이 검색 단계는 답변이 올바른 지표나 시리즈에 근거하는지를 결정하며, 이는 데이터의 AI를 통한 전파를 위해 발견 가능성(discoverability)을 전제 조건으로 만듭니다. 사용 로그는 아무도 검색하지 않은 지표에 대한 학습 신호를 제공할 수 없으므로, 우리는 대신 쿼리를 생성합니다. $\textbf{DevDataBench}$는 15개 언어에 걸쳐 근거가 있고 측면 타겟팅된(facet-targeted) 쿼리들로 구성된 완전한 LLM 생성 벤치마크로, 훈련과 평가를 위해 모든 지표를 포함합니다. 미세 조정된 118M 파라미터 CPU 인코더는 $\texttt{text-embedding-3-large}$를 포함한 모든 제로샷(zero-shot) 베이스라인을 능가하며(0.707 대 0.556 nDCG@10), 저자원 언어(low-resource languages)에서 가장 큰 성능 향상을 보였습니다. 우리는 벤치마크, 파이프라인, 모델 및 재사용 가능한 PI-FT 프레임워크를 공개합니다.