Deep-sea exploration habitat

역 시뮬레이션 검증을 통한 심해 탐사 거주지 설계를 위한 자기지도 학습 기반 시계열 패턴 마이닝

저의 가장 깊은 집착들이 그러했듯, 이 일도 하나의 실패로부터 시작되었습니다. 저는 개념적인 심해 거주지를 위한 생명 유지 시스템을 최적화하는 연구 프로젝트에 몰두하고 있었습니다. _Bioshock_와 _Aquaman_이 만난 듯한 환경이었지만, 훨씬 더 많은 스프레드시트가 포함된 상황이었죠. 저의 초기 접근 방식은 전형적인 지도 학습 (Supervised Learning)이었습니다. 수천 시간의 시뮬레이션 환경 데이터에 "안전" 및 "불안전" 운영 상태라는 라벨을 붙인 뒤 분류기 (Classifier)를 학습시키는 방식이었죠. 문제는 무엇이었을까요? 라벨링 작업이 고통스러울 정도로 주관적이었다는 점입니다. 수심 4,000미터 아래에서, 수면으로 빠르게 탈출할 수도 없는 상황일 때 무엇이 "안전"한 산소 변동을 구성할 수 있을까요? 전문가가 큐레이션한 저의 데이터셋은 노이즈가 많고 편향된 엉망진창이었으며, 제가 만든 모델은 단순한 임계값 기반 경보 시스템보다 성능이 떨어졌습니다.

좌절한 저는 한 걸음 물러나 생각했습니다. 저는 이미 알려진 라벨을 예측하려는 것이 아니었습니다. 저는 폐쇄 루프(Closed-loop) 형태의 극한 환경이 가진 본질적인 리듬을 "발견"하려고 했던 것입니다. 저는 건강한 거주지의 시간적 특징(Temporal signatures)—즉, 시스템의 치명적인 실패 그 자체가 아니라, 실패 직전에 나타나는 미묘하고 반복적인 패턴—을 이해하고 싶었습니다. 그때 저는 자기지도 학습 (Self-Supervised Learning, SSL), 특히 시계열 데이터 (Time-series data)에 대한 SSL의 응용 분야로 다시 발을 들여놓게 되었습니다. 이것은 인간의 라벨을 모방하는 것이 아니라, 모델이 시간 그 자체의 기저 구조를 학습하도록 강제하는 것이었습니다.

이 글은 심해 거주지 설계를 위한 자기지도 시계열 패턴 마이닝 (Self-Supervised Temporal Pattern Mining) 시스템을 구축하고, 최종적으로 역 시뮬레이션 검증 (Inverse simulation verification) 프레임워크로 완성해 나가는 저의 개인적인 여정을 기록합니다. 이것은 인공지능 (AI)을 사용하여 합성된 해양 세계의 고요한 심장 박동에 귀를 기울이며, 어둠 속에서 패턴을 쫓는 이야기입니다.

기술적 배경: 왜 시계열 데이터에 SSL인가?

전통적인 시계열 분석 (Time-series analysis)은 평균, 분산, 푸리에 변환 (Fourier transforms), 자기회귀 계수 (Autoregressive coefficients)를 추출하는 특징 공학 (Feature engineering)에 의존합니다. 심해 거주지의 경우, 이러한 방식은 취약할 수밖에 없습니다. 역학 관계가 비정상성 (Non-stationary)을 띠기 때문입니다. 갑작스러운 열수 분출구의 연기 (Hydrothermal vent plume), 펌프 고장, 또는 승무원 활동의 변화는 데이터 분포 전체를 변화시킬 수 있습니다. 발생 가능한 모든 창발적 상태 (Emergent state)에 대해 미리 라벨을 붙일 수 없기 때문에 지도 학습 (Supervised learning)은 실패하게 됩니다.

자기지도 학습 (Self-supervised learning, SSL)은 다른 경로를 제시합니다. 핵심 아이디어는 _프리텍스트 태스크 (Pretext task로써, 모델이 라벨이 없는 데이터로부터 스스로 감독 신호 (Supervisory signal)를 생성하는 작업입니다. 프리텍스트 태스크를 해결함으로써, 모델은 데이터의 시간적 구조 (Temporal structure)에 대한 풍부하고 일반화 가능한 표현 (Representation)을 학습합니다. 이렇게 학습된 표현은 이후 최소한의 라벨만으로 다운스트림 태스크 (Downstream tasks, 예: 이상 탐지 (Anomaly detection) 또는 고장 예측 (Failure prediction))를 위해 미세 조정 (Fine-tuning)될 수 있습니다.

이 분야를 탐구하면서, 저는 시계열 데이터에 가장 강력한 프리텍스트 태스크는 데이터의 **시간적 일관성 (Temporal coherence)**과 **인과 구조 (Causal structure)**를 활용하는 것이라는 점을 발견했습니다. 여러 주요 논문들(시계열을 위한 SimCLR, TS-TCC, 그리고 대조적 예측 코딩 (Contrastive predictive coding)에 관한 탁월한 연구들)을 조사한 결과, 하나의 공통된 실마리를 찾아냈습니다. 그것은 바로 **대조 학습 (Contrastive learning)**입니다.

핵심 통찰: 대조적 예측 코딩 (Contrastive Predictive Coding, CPC)

그 아이디어는 우아합니다. 관측값의 시퀀스가 주어지면, 인코더 (Encoder)가 이를 잠재 공간 (Latent space)으로 압축합니다. 그런 다음, 자기회귀 모델 (Autoregressive model)이 과거의 문맥 (Context)을 문맥 벡터 (Context vector)로 요약합니다. 프리텍스트 태스크는 이 문맥 벡터를 사용하여 미래의 잠재 상태 (Latent states)를 예측하는 것입니다.

마법은 대조적 (Contrastive) 손실 함수 (Loss)에 있습니다. 정확한 미래 값을 예측하는 대신(이는 종종 너무 어렵거나 노이즈가 많습니다), 모델은 실제 미래의 잠재 상태를 부정 샘플 (Negative samples, 다른 시간 단계나 시퀀스에서 무작위로 추출됨) 집합으로부터 구별해내는 과제를 수행합니다.

이 접근 방식을 실험하면서, 거주지 설계(habitat design)에 있어 "미래"란 단순히 다음 센서 측정값만을 의미하는 것이 아니라는 점을 깨달았습니다. 그것은 전체 시스템 상태의 진화입니다. 우리는 몇 분, 몇 시간, 심지어 며칠에 걸친 패턴, 즉 승무원의 일주기 리듬 (circadian rhythms), 산소의 점진적인 감소, 이산화탄소 (CO2)의 느린 축적과 같은 패턴을 학습해야 합니다.

구현 세부 사항: 패턴 마이너 (Pattern Miner) 구축

이제 코드로 들어가 보겠습니다. 저는 PyTorch를 사용하여 제 시스템의 단순화된 버전을 구축했습니다. 핵심 구성 요소는 다음과 같습니다:

1. 1D 합성곱 인코더 (1D Convolutional Encoder): 가공되지 않은 센서 스트림으로부터 국소적이고 다중 스케일인 특징 (multi-scale features)을 추출합니다.
2. GRU 기반 자기회귀 모델 (GRU-based Autoregressive Model): 과거 데이터를 문맥 벡터 (context vector)로 압축합니다.
3. 대조 손실 함수 (Contrastive Loss Function): 실제 미래 패턴과 거짓 패턴을 구별하는 법을 학습합니다.

import torch
import torch.nn as nn
import torch.nn.functional as F
...

이 아키텍처를 학습하면서 pred_steps의 선택이 매우 중요하다는 것을 관찰했습니다. 단계가 너무 적으면 모델은 사소한 단기 상관관계만을 학습합니다. 단계가 너무 많으면 예측 작업이 불가능해지고 모델이 붕괴 (collapse)됩니다. 저의 거주지 데이터(10초마다 샘플링됨)의 경우, 1020단계 앞(1.53분)을 예측하는 것이 시스템 수준의 역학 (system-level dynamics)에 대한 가장 의미 있는 표현 (representations)을 생성한다는 것을 발견했습니다.

실제 응용 분야: 역 시뮬레이션 검증 (Inverse Simulation Verification)

학습된 표현들은 설계에 가이드를 제공하지 못한다면 무용지물입니다. 여기서 저의 "역 시뮬레이션 검증" 개념이 등장합니다. 아이디어는 간단합니다. 학습된 시간적 패턴을 거주지 설계의 생성 모델 (generative model)을 위한 제약 조건 (constraint)으로 사용하는 것입니다.

"이 설계가 작동하는가?"라고 묻는 대신, "이 설계가 우리의 자기지도 학습 (SSL) 모델이 '건강함'으로 인식하도록 학습한 시간적 패턴을 생성하는가?"라고 묻는 것입니다. 이것은 역문제 (inverse problem)입니다. 즉, 우리는 원하는 동작(패턴)을 가지고 있으며, 그것을 생성하는 설계 파라미터 (design parameters)를 찾고자 하는 것입니다.

이러한 접근 방식을 실험하던 중, 저는 강력한 시너지 효과를 발견했습니다. 바로 SSL (자기지도 학습) 모델이 미분 가능한 평가기 (differentiable evaluator) 역할을 한다는 점입니다. 우리는 후보 거주지 시뮬레이션(펌프 속도, 스크러버 효율, 선체 단열 등을 위한 특정 파라미터 포함)을 사전 학습된 인코더 (encoder)에 입력할 수 있습니다. 인코더는 잠재 표현 (latent representation)을 출력합니다. 그런 다음 이 표현을 이미 검증된 양호한 과거 시뮬레이션 세트(또는 잠수함이나 ISS 모듈의 실제 데이터)로부터 학습된 "이상적인" 표현과 비교합니다.

import numpy as np
from scipy.optimize import minimize

...

이 프레임워크를 활용한 실험에서 얻은 흥미로운 발견 중 하나는, 최적화 과정이 종종 직관적이지 않은 솔루션으로 수렴한다는 것이었습니다. 예를 들어, "매끄러운" 산소 수치 패턴(SSL 모델이 승무원의 안전과 연관 지은 패턴)을 달성하기 위해, 최적화 도구는 환기율 (ventilation rate)은 높이고 스크러버 사이클링 빈도 (scrubber cycling frequency)는 낮추는 방식을 택했습니다. 이는 섭동 (perturbations)에 대해 더 느리고 댐핑된 (damped) 반응을 만들어냈는데, 이는 모든 것을 "최대화"하려는 전통적인 공학 방식으로는 놓쳤을 설계 통찰입니다.

도전 과제 및 해결책

이 분야를 탐구하면서 몇 가지 중대한 장애물을 발견했습니다.

도전 과제 1: 잠재 공간 (Latent Space)에서의 차원의 저주. 학습된 잠재 공간은 고차원이며 연속적입니다. 단일한 "건강한" 목표 지점을 정의하는 것은 순진한 접근입니다. 모델은 서로 다른 운영 모드(예: 수면 중 vs. 활발한 탐사 중)에 따라 여러 개의 서로 다른 패턴이 모두 "건강함"을 학습할 수 있기 때문입니다.

해결책: 저는 단일 목표 벡터에서 잠재 공간 내의 **가우시안 혼합 모델 (Gaussian Mixture Model, GMM)**로 전환했습니다. 역 최적화 (inverse optimization) 과정 동안, 손실 함수 (loss function)는 가장 가까운 클러스터 중심 (cluster centroid)까지의 거리를 측정하여, 최적화 도구가 알려진 양호한 행동 모드 중 어느 하나라도 일치하는 설계를 찾을 수 있도록 합니다.

from sklearn.mixture import GaussianMixture

# 학습 후, 모든 '건강한' 시뮬레이션으로부터 컨텍스트 벡터 (context vectors)를 수집합니다.
...

도전 과제 2: 시뮬레이션-현실 간극 (Simulation-Reality Gap). 저의 "simulate_habitat" 함수는 조잡한 플레이스홀더 (placeholder)에 불과합니다. 실제 물리 시뮬레이션은 비용이 많이 들며 실제 해양 환경과 완벽하게 일치하지 않을 수 있습니다.

해결책: 이는 제 연구의 활발한 분야입니다. 저는 SSL (자기지도 학습) 사전 학습 (pre-training) 중에 **도메인 무작위화 (domain randomization)**를 실험하고 있습니다. 즉, 광범위하게 무작위화된 물리적 파라미터 (난류, 온도 구배 등)를 가진 시뮬레이션으로 모델을 학습시키는 것입니다. 이를 통해 모델이 시뮬레이션의 부정확함에 강건한 (robust) 불변적 시간 패턴 (invariant temporal patterns)을 학습하도록 강제합니다.

향후 방향

SSL과 시뮬레이션의 교차점에 대해 학습하면서, 저는 다음 개척지가 **인과 표현 학습 (causal representation learning)**이라는 것을 깨달았습니다. 현재 저의 모델은 상관관계 (correlations)를 학습할 뿐, 인과관계 (causes)를 학습하지는 않습니다. 펌프 고장과 승무원이 해치를 여는 행위 모두 압력 저하를 일으킬 수 있지만, 회복 과정의 *시간적 시그니처 (temporal signature)*는 서로 다릅니다. 이러한 인과적 메커니즘을 분리할 수 있는 모델은 고장 방지형 (fail-safe) 거주지를 설계하는 데 매우 귀중할 것입니다.

또한 저는 자기회귀 모델 (autoregressive model)로서 Neural ODEs의 사용을 탐구하고 있습니다. GRU는 이산 시간 (discrete-time) 모델이지만, 거주지 내의 물리적 프로세스는 연속적 (continuous)입니다. Neural ODE는 잠재 역학 (latent dynamics)을 연속 미분 방정식 (continuous differential equation)으로 모델링할 수 있어, 잠재적으로 더 정확한 장기 예측 (long-horizon predictions)과 더 강건한 패턴 마이닝 (pattern mining)을 가능하게 합니다.

결론

심해 거주지 설계를 위한 자기지도 시계열 패턴 마이닝에 대한 저의 여정은 겸허하면서도 짜릿한 경험이었습니다. 이 과정은 미지의 미래를 설계하는 가장 좋은 방법이 미래를 예측하는 것이 아니라, 그 내재적인 리듬을 이해하는 것임을 가르쳐 주었습니다. 레이블이 없는 센서 데이터의 바다 속에서 AI에게 "다음에 무엇이 올 것인가?"라는 단순한 과제를 해결하도록 강제함으로써, 우리는 복잡한 폐쇄 루프 시스템 (closed-loop systems)의 구조에 대한 심오한 통찰을 추출할 수 있습니다.

역 시뮬레이션 검증 (inverse simulation verification) 프레임워크는 통찰에서 실행으로 나아가는 가교 역할을 합니다. 이를 통해 우리는 다음과 같은 올바른 질문을 던질 수 있습니다: "어떤 설계 파라미터 (design parameters)가 이 시스템을 건강한 시스템과 동일한 노래를 부르도록(sing) 만들 것인가?" 우리는 더 이상 혼돈에 맞서 싸우는 엔지니어가 아니라, 숨겨진 해양 세계의 음악을 배워가는 지휘자입니다. 패턴은 데이터 속에 존재하며, 발견되기를 기다리고 있습니다. 당신은 그저 어떻게 경청해야 하는지만 알면 됩니다.