모듈형 관계형 딥러닝 (Relational Deep Learning)을 위한 범용 인코더 (Universal Encoders)

관계형 딥러닝 (Relational Deep Learning, RDL)은 멀티-테이블 데이터베이스 (multi-tabular databases)를 엔드-투-엔드 표현 학습 (end-to-end representation learning)을 위한 시계열 이종 그래프 (temporal heterogeneous graphs)로 모델링합니다. RDL이 빠르게 발전하고 있음에도 불구하고, 기존 방식들은 상당한 일반화 (generalization) 장애물에 직면해 있습니다. 이 방식들은 스키마 특정적 (schema-specific)이어서 새로운 데이터베이스마다 처음부터 다시 학습해야 하거나, 특징 인코딩 (feature encoding)과 그래프 메시지 패싱 (graph message-passing)이 얽혀 있는 단일 구조 (monolithic architectures)에 의존합니다. 이러한 한계점을 분석하여, 우리는 기초적인 관계형 모델 (foundational relational models) 구축을 위한 네 가지 핵심 기둥인 의미론적 입도 (semantic granularity), 구조적 위상 (structural topology), 시간적 인과관계 (temporal causality), 그리고 통합 최적화 (unified optimization)를 설정합니다. 이 기둥들을 해결하기 위해, 우리는 행 인코딩 (row encoding)을 그래프 메시지 패싱 (graph message-passing)으로부터 분리하는 모듈형 접근 방식 (modular approach)을 제안합니다. 우리는 트랜스포머 기반 (transformer-based) 모듈인 범용 행 인코더 (Universal Row Encoder)를 도입하며, 이는 원시 셀 데이터 (raw cell data)를 컬럼 의미론 (column semantics), 테이블 이름, 그리고 전역 분포 통계 (global distribution statistics)를 포함한 스키마 메타데이터 (schema metadata)와 통합하여 테이블 너비에 불변하는 (table-width invariant) 행 임베딩 (row embeddings)을 생성합니다. 행 내부 셀프 어텐션 (intra-row self-attention) 메커니즘에 전역 통계를 명시적으로 입력함으로써, 인코더는 보지 못한 특징 (unseen features)에 맥락을 부여하고 희소 데이터 (sparse data)를 처리합니다. 모든 다운스트림 그래프 아키텍처 (downstream graph architecture)를 위한 유연한 "백엔드 (backend)" 역할을 수행하는 우리의 사전 학습된 (pretrained) 인코더는, 확립된 RelBench 벤치마크에서 교차 데이터베이스 지식 전이 (cross-database knowledge transfer)를 강화하는 동시에 학습 수렴도 (learning convergence)와 메모리 사용량 (memory footprint)을 개선합니다.