Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
TerraNova는 물리적 지구 시스템과 인간 사회의 데이터를 결합하여 모델링하는 새로운 파운데이션 모델입니다. 격자형 지구 데이터와 국가 지표를 교차 모달 트랜스포머로 융합하여 시공간적 상태를 통합적으로 표현합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기인류세 (Anthropocene)의 결정적인 문제는 물리적 지구와 인간 사회를 하나의 결합된 시스템 (coupled system)으로 모델링하는 것이지만, 아직 그 관측 범위를 아우르는 학습된 표현 (learned representation)은 존재하지 않습니다. 우리는 그 장애물이 기하학적 (geometric)이라고 주장합니다. 물리적 지구는 정치적 경계를 무시하는 연속적인 장 (continuous fields)으로 측정되는 반면, 사회는 행정 단위별로 보고됩니다. 지구 시스템 파운데이션 모델 (Earth-system foundation models)은 첫 번째 기하학에 적합하며, 이를 두 번째 기하학에 결합하려면 국경에 대한 손실이 발생하는 평균화 (lossy averaging) 과정이 필요했습니다.
우리는 각자의 고유한 기하학적 구조를 가진 1,024개의 물리적 및 사회적 기록, 즉 512개의 격자형 지구 시스템 장 (gridded Earth-system fields)과 512개의 국가 지표 (national indicators)로 학습된 파운데이션 모델 (foundation model)인 TerraNova를 소개합니다. 전용 인코더 (encoders)가 위치, 국가, 시간 및 작업을 표현하고, 교차 모달 트랜스포머 (cross-modal transformers)가 이를 공유된 시공간 상태 (spatiotemporal state)로 융합하며, 하이퍼네트워크 (hypernetwork)가 예측 분포를 반환하는 증거 헤드 (evidential head)를 갖춘 쿼리별 디코더 (per-query decoder)를 생성합니다. 두 가지 대조 학습 목적 함수 (contrastive objectives)가 표현을 결합합니다: 각 국가와 해당 영토 내 좌표 간의 인구 가중 정렬 (population-weighted alignment), 그리고 이미지 유래 의미론 (image-derived semantics)을 담고 있는 사전 학습된 지리 공간 임베딩 (pretrained geospatial embeddings)과의 정렬입니다.
해당 디코더를 통해 읽어낸 이 표현은 특정 목적을 위해 구축된 지리 공간 인코더 (geospatial encoders)와 경쟁할 만한 성능을 보이면서도, 기존 인코더들이 표현하지 못하는 축(시간, 해양 및 불확실성)을 아우르고 국가 수준의 역량을 지원합니다. 동결된 백본 (frozen backbone)은 희소한 관측값 (sparse observations)으로부터 조밀한 장 (dense fields)을 재구성하며, 소비자용 하드웨어에서도 몇 분 만에 보지 못한 변수들에 적응합니다.