Coastal Climate Resilience

탄소 네거티브 인프라의 해안 기후 복원력 계획을 위한 자기 지도 시간 패턴 마이닝

서론: 폭풍, 데이터셋, 그리고 예상치 못한 패턴

2년 전 겨울에 저는 작은 해안 공학 팀과 함께 3주 동안 머물면서 제안된 탄소 네거티브 방파제를 평가했습니다. 이 구조물은 탄소를 격리하는 동시에 폭풍 해일로부터 완충 역할을 하도록 설계된 광물화 CO₂ 집괴로 만들어졌습니다. 프로젝트에는 조위계, 파도 부표, 위성 고도 측정기, 염분 프로브, 심지어 음향 퇴적물 수송 모니터까지 테라바이트(terabytes)의 센서 데이터가 있었습니다. 하지만 팀이 다음 30년의 기후 시나리오를 계획하기 위해 앉았을 때, 그들은 여전히 손으로 고른 역사적 폭풍 사건과 전문가의 직관에 의존하고 있었습니다.

저는 그 방에 앉아 40년간의 해일 잔차(surge residuals) 시계열 데이터를 바라보며, 겉보기에는 단순하지만 속으로는 복잡한 질문을 던졌습니다. 우리가 이미 알고 있다고 가정하는 대신, 데이터가 실제로 어떤 시간적 패턴이 중요한지 알려준다면 어떨까?

그 질문은 몇 달 동안의 탐색으로 이어졌고, 저를 자기 지도 학습(self-supervised learning), 시간 패턴 마이닝(temporal pattern mining), 그리고 기후 복원력과 탄소 네거티브 인프라라는 놀랍도록 풍부한 교차점 깊숙한 곳으로 이끌었습니다. 이 글은 제가 배운 이야기입니다 — 아키텍처, 실험, 실패, 그리고 모델에 대한 감독을 멈추고 스스로 구조를 발견하도록 내버려 두었을 때 나타난 패턴들입니다.

탄소 네거티브 인프라가 문제를 바꾸는 이유

ML(머신러닝)에 깊이 파고들기 전에, 도메인 지식을 확립할 가치가 있습니다. 탄소 네거티브 인프라(CNI: Carbon-Negative Infrastructure)란 대기 중의 CO₂를 능동적으로 제거하는 구축 시스템을 의미합니다 — 강화된 풍화 방파제, 바이오차 개질 방파제, 또는 조류 통합 해안 방어 시설 등을 생각해 보세요. 이러한 시스템은 이중적인 의무를 가집니다:

1. 복원력(Resilience): 해수면 상승, 폭풍 해일 및 침식으로부터 해안선을 보호합니다.
2. 격리(Sequestration): 탄소를 광물 또는 생물 형태의 물질에 영구적으로 저장합니다.

긴장감이 현실적입니다. 파도 감쇠에만 최적화된 해안 방벽은 탄소 집약적인 콘크리트를 사용할 수 있습니다. 격리(sequestration)를 우선시하는 설계는 극한 사건 하에서 구조적으로 취약할 수 있습니다. 그리고 결정적으로, 시간적 역학(temporal dynamics)이 엄청나게 중요합니다. 탄산화 반응은 수십 년의 시간 척도에서 일어나지만, 폭풍 피해는 몇 시간 만에 발생합니다.

이러한 이중 목표 문제(dual-objective problem)를 탐색하면서, 저는 전통적인 지도 학습(supervised approaches) 방식이 근본적으로 맞지 않다는 것을 깨달았습니다. 우리는 '2055년에 이 구조물을 파괴할 폭풍'에 대한 레이블링된 데이터가 없습니다. 우리가 가진 것은 레이블이 없는 다변량 시계열(multivariate time series)이며, 기후 시나리오 전반에 걸쳐 일반화되는 패턴을 채굴해야 합니다.

자기 지도 시간 학습의 근거 (The Case for Self-Supervised Temporal Learning)

시간적 표현 학습(temporal representation learning)에 대한 연구를 하면서, 저는 핵심적인 통찰력으로 계속 돌아갔습니다. 시계열 자체의 구조가 일종의 감독 신호(supervisory signal)입니다. 만약 모델이 다음 타임스텝을 예측하거나, 마스크된 세그먼트를 재구성하거나, 실제 서브시퀀스를 섞인 것과 구별할 수 있다면, 이는 인간의 레이블 없이도 근본적인 역학에 대해 의미 있는 것을 학습했다는 의미입니다.

이것이 시계열에 적용된 자기 지도 학습(Self-Supervised Learning, SSL)의 본질입니다. 세 가지 전처리 작업(pretext tasks) 계열이 지배적입니다:

• 마스크 재구성 (Masked reconstruction) (시계열용 BERT 방식): 세그먼트를 숨기고 컨텍스트로부터 예측합니다.
• 대조 학습 (Contrastive learning) (SimCLR 방식): 동일한 윈도우의 증강된 뷰(augmented views)를 서로 가깝게 끌어당기고, 다른 윈도우는 멀리 밀어냅니다.
• 예측 코딩 (Predictive coding): 과거 컨텍스트로부터 미래 값을 예측합니다.

해안 기후 데이터의 경우, 저는 도메인 인식 증강(domain-aware augmentations)을 사용한 대조 학습이 가장 효과적이라는 것을 발견했습니다. 왜냐하면 이는 인코더가 잡음 요인(센서 드리프트, 교정 노이즈 등)에 대해 불변성(invariant)을 갖도록 강제하면서도 물리적으로 의미 있는 구조를 보존하기 때문입니다.

인코더 구축: 최소 구현 (Building the Encoder: A Minimal Implementation)

제가 만든 시간 인코더의 간소화된 버전을 공유하겠습니다. 1D 컨볼루션 백본에 트랜스포머 헤드를 사용했습니다. 특별한 것은 없지만, 도메인 지식이 담긴 부분은 증강(augmentations)입니다.

import torch
import torch.nn as nn

...

여기서 in_channels=6은 제가 실제로 사용하는 특징 집합을 반영합니다: 수위, 파고, 파주기, 풍속, 기압, 그리고 — 중요하게도 — CNI(탄소 네거티브 인프라) 재료에 내장된 pH 센서에서 파생된 **탄산화 진행 지표(carbonation progress proxy)**입니다.

도메인 인식 증강: 학습이 일어나는 곳

실험 중 저를 진정으로 놀라게 한 발견이 있습니다. 표준 시계열 증강 기법(jittering, scaling, cropping)은 임베딩을 지나치게 불변하게 만들었습니다. 모델이 잔잔한 조수와 폭풍 해일(storm surge)을 구별할 수 없었던 이유는 둘 다 정규화되어 사라졌기 때문입니다.

해결책은 물리적 제약 조건을 존중하는 증강 기법을 설계하는 것이었습니다:

def coastal_augment(x, mask_ratio=0.15, max_shift=3):
    """x: (B, C, T). 두 개의 증강된 뷰를 반환합니다."""
    B, C, T = x.shape
...

마지막 줄 — 탄산화 채널에 단조성(monotonicity)을 강제한 것 — 은 작은 변경이었지만 큰 효과를 가져왔습니다. 이는 탄산화가 관련 시간 척도에서 비가역적이라는 물리적 사실을 인코딩하며, 해당 특징에서 모델이 허위 진동(spurious oscillations)을 학습하는 것을 방지했습니다.

트위스트가 가미된 대비 손실 (Contrastive Loss)

저는 NT-Xent 손실을 사용했지만, 시간적으로 가까우면서도 물리적으로 구별되는 어려운 음성(hard negatives)에 중점을 두는 **시간적 난이도 가중치(temporal hardness weighting)**를 적용했습니다 (예: 만조와 폭풍 해일).

def nt_xent_with_temporal_weight(z1, z2, timestamps, tau=0.1, alpha=0.5):
    z = torch.cat([z1, z2], dim=0)
    z = nn.functional.normalize(z, dim=1)
...

시간적 경도 가중치(temporal hardness weighting)는 모델이 인접한 시간 단계를 혼동하는 것을 발견하면서 우연히 접하게 된 방법입니다. 손실 함수에 시간적으로 가까운 샘플들이 더 어려운 음성(harder negatives)임을 명시적으로 알려주자, 인코더는 돌풍 예측에 중요한 미세한 역학 변화에 민감하도록 학습했습니다.

패턴 마이닝: 임베딩에서 통찰로

훈련을 마치면, 임베딩은 시간적 패턴을 마이닝할 수 있는 잠재 공간(latent space)이 됩니다. 저는 두 가지 보완적인 접근 방식을 사용했습니다:

1. 밀도 기반 클러스터링 (HDBSCAN)

폭풍 체제, 잔잔한 기간, 그리고 전환 상태는 임베딩 공간에서 자연스럽게 군집화됩니다. HDBSCAN은 가변 밀도를 잘 처리하며 노이즈를 명시적으로 레이블링합니다. 이는 존재하는 체제의 개수를 알지 못할 때 유용합니다.

from sklearn.cluster import HDBSCAN

embeddings = encoder(X).detach().cpu().numpy()
...

2. 자기 유사성 행렬을 이용한 모티프 발견 (Motif Discovery)

해석 가능성을 위해, 저는 임베딩 시퀀스에 걸쳐 자기 유사성 행렬(self-similarity matrices)을 계산하고 반복되는 대각 패턴을 추출했습니다. 이는 원시 신호 공간이 아닌 학습된 공간에서의 고전적인 모티프 발견 방식입니다.

def find_motifs(emb_seq, min_len=10, threshold=0.85):
    # emb_seq: (T, D) 정규화된 임베딩
    S = emb_seq @ emb_seq.T
...

이것을 40년치 데이터에 적용한 결과, 놀라운 것을 발견했습니다. 모든 주요 돌풍 사건 이전에 약 18시간 전에 나타나는 반복적인 72시간 모티프였습니다. 제가 보여준 기상학자들은 이를 특정 대기압 쌍극자(atmospheric pressure dipole) 구성으로 인식했지만, 모델은 레이블이 지정되지 않은 센서 데이터만으로 순수하게 이것을 발견한 것입니다.

양자 가속: 솔직한 평가

클라이밋 모델링 논의에서 자주 언급되는 만큼, 양자 컴퓨팅(quantum computing)에 대해 언급하지 않을 수 없습니다. 저는 몇 주 동안 양자 커널(quantum kernels)이 대조 학습 단계(contrastive learning step)를 가속화할 수 있는지 탐구했습니다. 간단히 말해: 아직은 아니지만, 궤적은 유망합니다.

가장 신뢰할 수 있는 단기 응용 분야는 저차원 임베딩 공간에서 유사도 계산을 위해 양자 커널 방법(quantum kernel methods)을 사용하는 것이었습니다:

# 개념적: 진폭 인코딩을 통한 양자 커널 추정
# (의사 코드 — qiskit 또는 pennylane 백엔드 필요)
def quantum_kernel(x1, x2, n_qubits=8):
...

64차원 임베딩의 경우 클래식 커널이 더 빠릅니다. 하지만 제가 차원을 8로 투영하고 양자 커널을 사용했을 때, 하드 네거티브(hard negatives)에서 미세하게 더 나은 분리도를 확인했습니다. 이는 아마도 양자 특징 맵(quantum feature map)이 RBF 커널이 놓친 비선형성(nonlinearities)을 포착했기 때문일 것입니다. 오늘날 생산 경로(production path)는 아니지만, 주목할 만한 연구 방향입니다.

적응형 계획을 위한 에이전트 AI (Agentic AI for Adaptive Planning)

퍼즐의 마지막 조각은 이것을 '실행 가능하게' 만드는 것이었습니다. 저는 마이닝된 패턴을 활용하여 시나리오 계획을 구동하는 작은 에이전트 시스템을 구축했습니다:

class ResiliencePlanner:
    def __init__(self, encoder, clusterer, cni_model):
        self.encoder = encoder
...

이 에이전트는 인코더에 질의하고, 시나리오를 알려진 영역(known regimes)으로 클러스터링한 다음, 복원력과 탄소 격리화(carbon sequestration) 간의 상충 관계(trade-off)를 거래하는 파레토 전선(Pareto front)을 반환합니다. AGI는 아니지만, 자기 지도 표현(self-supervised representations)에서 나온 진정한 의사 결정 지원 도구입니다.

제가 겪었던 어려움 (그리고 극복 방법)

어려움 1: 비정상성(Non-stationarity). 기후 데이터는 근본적으로 비정상적입니다. 해수면은 상승하고, 폭풍 강도는 변화합니다. 표준 SSL(Self-Supervised Learning)은 정상 분포(stationary distribution)를 가정합니다. 저는 각 배치(batch)가 여러 10년의 창(windows)을 포함하도록 보장하는 **시간 인식 대비 샘플링(time-aware contrastive sampling)**으로 이를 해결했습니다.

어려움 2: 영역에서의 클래스 불균형(Class imbalance in regimes). 극단적인 사건은 드뭅니다. 마스크 복원(Masked reconstruction)만으로는 이들을 충분히 가중하지 못했습니다. 손실 함수(loss)에 적용된 시간적 난이도 가중치(temporal hardness weighting)가 해결책이었습니다.

도전 과제 3: 해석 가능성(Interpretability). 대조 임베딩(Contrastive embeddings)은 불투명합니다. 자기 유사 행렬 모티프 발견(self-similarity matrix motif discovery)이 물리적 해석 가능성으로 돌아가는 다리를 제공해 주었고, 이것이 엔지니어링 팀을 모델에 신뢰하게 만든 요인이었습니다.

향후 연구 방향 (Future Directions)

저를 가장 흥분시키는 세 가지 방향이 있습니다:

1. 지구과학 시계열용 파운데이션 모델(Foundation models for geoscience time series). GPT-4가 텍스트 전반에 걸쳐 일반화하는 방식과 마찬가지로, 대규모 사전 학습된 시간적 모델은 해안, 대기 및 해양 작업을 동시에 위한 백본(backbone) 역할을 할 수 있습니다.

2. 인과적 시간 표현 학습 (Causal temporal representation learning). 상관관계(correlation)를 넘어 인과적인 시간 패턴을 식별하는 것—즉, 어떤 파고 상승 전구 현상(surge precursors)이 단순히 공존하는 것이 아니라 실제로 피해를 _야기하는지_입니다.

3. 양자-고전 하이브리드 파이프라인 (Quantum-classical hybrid pipelines). 양자 하드웨어가 성숙해짐에 따라, 제가 탐구했던 커널 방법(kernel methods)은 고차원 시간적 유사성 분석에 실용적이 될 수 있습니다.

결론: 데이터가 가르쳐준 것 (Conclusion: What the Data Taught Me)

해안 복원력을 위한 자기 지도 시간 패턴 마이닝 탐구는 제가 앞으로 가져갈 세 가지 교훈을 주었습니다:

첫째, 최고의 감독(supervision)은 종종 아무런 감독도 없는 경우입니다—분야에 풍부한 구조가 있다면 모델이 스스로 발견하도록 두어야 합니다. 72시간 전구 모티프는 누구도 명시적으로 레이블링하지 않았던 것이지만, 이미 그곳에 존재했습니다.

둘째, 도메인 지식은 아키텍처(architecture)가 아닌 증강(augmentations)에 포함되어야 합니다. 탄산화(carbonation)에 대한 단조성 제약(monotonicity constraint)과 시간적 난이도 가중치 부여(temporal hardness weighting)는 수십 년간의 물리적 통찰을 인코딩한 아주 작은 코드 변경 사항이었습니다.

셋째, 기후 응용 분야에서 해석 가능성은 선택 사항이 아닙니다. 예측만 하고 설명할 수 없는 모델은 해안 방벽을 건설하는 엔지니어들에게 결코 신뢰받지 못할 것입니다. 자기 유사 모티프 추출(self-similarity motif extraction)이 바로 그 다리였습니다.

탄소 네거티브 인프라는 AI가 기후 완화와 적응 모두에 직접적으로 기여할 수 있는 몇 안 되는 영역 중 하나입니다. 만약 이 교차점(intersection)에서 일하거나, 혹은 시간적 패턴이 중요한 어느 곳에서 일하고 있다면, 이것이 시작점이 되기를 바랍니다. 데이터는 기다리고 있습니다. 말하게 하세요.