수치형 테이블 데이터셋의 유사성, 검색 및 해석 가능한 정렬을 위한 통계적 임베딩 (Statistical Embeddings)

수치형 테이블 데이터셋 (Numeric tabular datasets)은 과학적 실무에서 지배적인 데이터 형식입니다. 하지만 대규모 언어 모델 (Large Language Models, LLMs)은 이질적인 특징 공간 (Heterogeneous feature spaces) 전반에서 수치형 데이터셋을 의미 있는 방식으로 표현할 수 있는 고유한 메커니즘이 부족합니다. 기존 방식들은 개별 데이터셋에 대한 예측 모델링 (Predictive modeling)을 목표로 하여 공유된 변수 정의 세트가 필요하거나, 해석 가능한 데이터셋 간 정렬 (Cross-dataset alignment)을 위한 메커니즘이 부족합니다.

제안된 방법론은 구조화된 탐색적 데이터 분석 (Exploratory Data Analysis, EDA) 기술자 (Descriptors)를 통해 수치형 테이블 데이터셋을 특징짓고, 사전 학습된 문장 트랜스포머 (Sentence Transformer)를 사용하여 이러한 기술자들을 공유 벡터 공간 (Shared vector space)에 임베딩하며, 정준 상관 분석 (Canonical Correlation Analysis, CCA)을 통해 데이터셋 간의 유사성을 정량화합니다. 나아가, 데이터셋 간의 희소하고 해석 가능한 변수 수준의 대응 관계를 복원하기 위해 CCA의 패널티 부여 공식 (Penalized formulation)을 적용하여, 공유된 변수 이름이나 특징 관례 (Feature conventions) 없이도 어떤 통계적 기술자 또는 변수 수준의 수치가 데이터셋 간 정렬을 유도하는지 식별합니다. 임베딩 전 기술자 세트에 차분 프라이버시 (Differential privacy)를 선택적으로 적용함으로써, 비교 시점에 원시 관측치 (Raw observations)에 접근할 필요 없이 민감한 데이터 환경에서의 배포를 지원합니다.

본 방법론은 범용 벤치마크, 재료 정보학 (Materials informatics), 그리고 원자력 등급 흑연 특성 분석 (Nuclear-grade graphite characterization)을 아우르는 15개의 데이터셋을 통해 평가되었습니다. 결과에 따르면 총 P@1 점수는 0.9를 기록하였으며, 알려진 최근접 이웃 검색 (Nearest-neighbor retrieval) 및 클러스터 구조 (Cluster structure)는 임베딩 절제 연구 (Embedding ablations) 및 차분 프라이버시 예산 (Differential privacy budgets) 전반에 걸쳐 견고하게 유지되었습니다. 제안된 프레임워크는 통계적 맥락을 보존하면서 이질적인 수치 데이터를 검색 증강 생성 (Retrieval-Augmented Generation, RAG) 파이프라인에 통합할 수 있는 원칙적인 경로를 제공하며, 데이터 기반 알고리즘 선택 및 미지의 데이터셋에 대한 시뮬레이션 모델 초기화에 직접적으로 적용될 수 있습니다.