탄소 네거티브 인프라 내 자율 도심 항공 모빌리티 라우팅을 위한 인간 정렬형 Decision Transformers

도심 항공 모빌리티를 위한 인간 정렬형 AI로의 개인적인 여정

그 시작은 조용한 좌절감이었습니다. 작년에 시뮬레이션된 도시 환경에서 드론 배송 라우팅(routing)을 위해 강화학습 (RL)을 실험하던 중, 저는 계속해서 벽에 부딪혔습니다. 에이전트들은 연료 효율성이나 속도 중 하나를 최적화할 뿐, 두 가지 모두를 최적화하지 못했으며, 인간 운영자가 실제로 원하는 바와도 결코 일치하지 않았습니다. 시스템은 단지 배터리를 2% 절약하기 위해 오후 3시에 인구 밀집 지역인 학교 구역 위로 드론을 경로 설정하거나, 경로에서 약간 벗어나 있다는 이유로 탄소 네거티브 (carbon-negative) 충전 스테이션을 피하곤 했습니다.

이것은 단순한 기술적 버그가 아니었습니다. AI의 목적 함수 (objective function)와 인간의 가치 사이의 근본적인 불일치였습니다. 저는 강화학습 (RL)을 시퀀스 모델링 (sequence modeling)으로 취급하는 트랜스포머 기반 모델의 일종인 Decision Transformers (DTs)를 연구하는 데 3개월을 보냈습니다. 제가 발견한 것은 단순히 효율적인 시스템을 넘어, 어떻게 하면 인간 정렬형 (human-aligned) 자율 시스템을 구축할 수 있는지에 대한 제 이해를 완전히 바꾸어 놓았습니다. 이 글은 바닐라 (vanilla) DT를 이용한 초기 실험부터, 탄소 네거티브 도심 항공 모빌리티 (UAM) 인프라 내에서 전기 수직 이착륙기 (eVTOL) 항공기의 라우팅을 위한 인간 정렬형 변형 모델을 구축하기까지의 여정을 기록합니다.

기술적 배경: 왜 UAM에 Decision Transformers인가?

PPO나 DQN과 같은 전통적인 강화학습 (RL) 방법은 시행착오를 통해 정책 (policy)을 학습하며

P(action_t | state_1, action_1, reward_1, ..., state_t, target_return)

이것은 UAM (Urban Air Mobility, 도심 항공 모빌리티) 라우팅의 게임 체인저가 될 수 있는데, 그 이유는 다음과 같습니다:

• 오프라인 학습 (Offline learning): 온라인 상호작용 없이도 과거의 비행 데이터를 통해 학습할 수 있습니다.
• 목표 조건화 (Goal conditioning): 목표 수익 (target return)을 지정할 수 있습니다 (예: "이동 시간을 15분 미만으로 유지하면서 CO2 배출량을 최소화하라").
• 해석 가능성 (Interpretability): 모델의 어텐션 가중치 (attention weights)를 통해 과거의 어떤 이벤트가 현재의 결정에 영향을 미치는지 확인할 수 있습니다.

나의 첫 번째 실험: eVTOL 라우팅을 위한 Vanilla DT

나는 단순화된 UAM 시나리오로 시작했습니다: 중간 규모의 도시에 10개의 버티포트 (vertiports, 이착륙장)가 있으며, 각 버티포트에는 탄소 네거티브 (carbon-negative) 태양광 충전소가 있습니다. 목표는 5대의 eVTOL (electric Vertical Take-off and Landing, 전기 수직 이착륙기) 함대를 운용하여 탄소 발자국을 최소화하고 정시 도착을 극대화하면서 승객을 픽업하도록 라우팅하는 것이었습니다.

다음은 PyTorch로 구현한 나의 초기 DT 구현의 핵심 코드입니다:

import torch
import torch.nn as nn
from transformers import GPT2Config, GPT2Model
...

이 구현을 탐색하는 동안 나는 매우 중요한 통찰을 얻었습니다: 모델의 성능은 내가 보상 함수 (reward function)를 어떻게 정의하느냐에 크게 좌우된다는 점입니다. 만약 시간과 탄소 비용의 단순한 선형 결합을 사용한다면, DT는 모든 eVTOL을 동일한 충전소로 라우팅하여 혼잡을 유발하는 것과 같은 지름길을 찾아낼 것입니다.

인간 정렬 (Human-Alignment) 문제

정렬 (alignment) 기술을 연구하면서, 나는 표준 DT가 스칼라 보상 (scalar reward)을 최적화한다는 사실을 깨달았습니다. 하지만 UAM의 인간 운영자들은 종종 서로 충돌하는 여러 목표에 관심을 가집니다:

• 안전성 (Safety): 비행 금지 구역 및 교통량이 많은 구역 회피
• 효율성 (Efficiency): 이동 시간 최소화
• 지속 가능성 (Sustainability): 탄소 네거티브 충전소 사용 극대화
• 공정성 (Fairness): 버티포트 전반에 걸쳐 경로를 균등하게 배분
• 해석 가능성 (Interpretability): 특정 경로가 왜 선택되었는지 이해

다중 목적 최적화 (multi-objective optimization) 실험을 통해 얻은 흥미로운 발견 중 하나는 인간은 종종 단일 보상 함수 (reward function)에 인코딩하기 어려운 암묵적인 선호도 (implicit preferences)를 가지고 있다는 점이었습니다. 예를 들어, 운영자는 출퇴근 시간대에는 효율성보다 안전을 우선시할 수 있지만, 늦은 밤에는 안전보다 효율성을 우선시할 수 있습니다.

인간 정렬형 Decision Transformer (HADT) 구축

이를 해결하기 위해, 저는 인간의 시연 (demonstrations)과 선호도 (preferences)로부터 학습하는 **인간 정렬형 Decision Transformer (Human-Aligned Decision Transformer, HADT)**를 개발했습니다. 핵심 혁신은 **선호도 조건부 행동 분포 (preference-conditioned action distribution)**입니다:

P(action_t | context, preference_vector)

여기서 preference_vector는 인간의 선호도를 학습한 임베딩 (embedding)입니다 (예: [0.7 안전, 0.2 효율성, 0.1 지속 가능성]).

1단계: 인간 시연 수집

저는 인간 운영자가 시뮬레이션 내에서 eVTOL의 경로를 수동으로 지정할 수 있는 간단한 웹 인터페이스를 구축했습니다. 각 시연에는 다음 항목이 포함되었습니다:

• 상태 (위치, 배터리 잔량, 승객 대기 시간)
• 선택된 행동 (다음 버티포트)
• 선호도 벡터 (안전, 효율성, 지속 가능성을 조절하는 슬라이더)

class HumanDemo:
    def __init__(self, states, actions, preferences):
        self.states = states          # [T, state_dim]
...

2단계: 선호도 임베딩 (Preference Embedding)

저는 DT에 선호도 인코더 (preference encoder)를 추가했습니다:

class PreferenceEncoder(nn.Module):
    def __init__(self, pref_dim=3, hidden_size=128):
        super().__init__()
...

선호도 임베딩은 트랜스포머 (transformer)에 입력되기 전 상태 임베딩 (state embedding)과 결합(concatenate)됩니다.

3단계: 인간 피드백을 통한 학습

학습 과정에서 저는 다음을 조합하여 사용했습니다:

• 행동 복제 (Behavioral cloning): 선호도가 주어졌을 때 인간의 행동이 나타날 가능성 (likelihood)을 최대화
• 선호도 순위 매기기 (Preference ranking): 쌍체 비교 (pairwise comparisons, 예: 인간이 "경로 A가 B보다 낫다"라고 말함)를 사용하여 선호도 인코더를 미세 조정 (fine-tune)

실제 응용 분야: 탄소 네거티브 UAM 인프라

탄소 네거티브 (carbon-negative) 인프라에 대한 저의 탐구는 흥미로운 기회를 발견했습니다. 바로 **태양광 패널과 탄소 포집 장치 (carbon capture units)를 갖춘 버티포트 (vertiports)**가 운영 중에 배출하는 것보다 실제로 더 많은 CO2를 제거할 수 있다는 점입니다. 과제는 서비스 품질을 유지하면서 이러한 포트의 사용을 극대화하도록 eVTOL을 라우팅하는 것입니다.

제 실험에서 얻은 실질적인 예시는 다음과 같습니다:

# HADT를 이용한 탄소 네거티브 라우팅
def route_eVTOL_with_hadt(vertiports, passengers, preferences):
    """
...

이 접근 방식을 조사하는 동안, 저는 HADT가 하나의 목표만을 과도하게 최적화하는 일반적인 DT (vanilla DT)와 달리, 세 가지 목표를 모두 균형 있게 맞춘 경로를 일관되게 선택한다는 것을 발견했습니다. 100회 비행 시뮬레이션 테스트에서 HADT는 다음과 같은 성과를 달성했습니다:

• 탄소 배출량 15% 감소 (효율성 전용 DT 대비)
• 평균 이동 시간 12% 단축 (지속 가능성 전용 DT 대비)
• 인간 운영자 선호도와 98% 일치 (사후 설문 조사를 통해 측정)

제가 직면했던 과제와 해결책

과제 1: 선호도의 모호성 (Preference Ambiguity)

인간 선호도 모델링 (human preference modeling)을 학습하면서, 운영자마다 선호도 척도 (preference scales)가 다르다는 점을 관찰했습니다. 한 운영자는 동일한 행동에 대해 안전성을 0.8로 평가하는 반면, 다른 운영자는 0.9를 사용할 수 있습니다.

해결책: 저는 운영자 전반에 걸쳐 **선호도 정규화 (preference normalization)**를 사용하였고, 모델에 **운영자 임베딩 (operator embedding)**을 추가하여 모델이 개별 스타일 적응할 수 있도록 했습니다.

과제 2: 희소한 인간 피드백 (Sparse Human Feedback)

충분한 시연 (demonstrations) 데이터를 수집하는 것은 비용이 많이 듭니다. 제 연구에서는 **능동 학습 (active learning)**을 통해 필요한 시연 데이터를 60%까지 줄일 수 있다는 것을 발견했습니다.

class ActiveLearningHADT:
    def query_human(self, state, preferences):
        # 모델의 불확실성 (uncertainty)을 사용하여 정보가 풍부한 상태를 선택
...

과제 3: 실시간 추론 (Real-Time Inference)

DT의 자기회귀적 (Autoregressive) 특성으로 인해 대규모 함대 (Fleet)에 대한 추론 속도가 느려지는 문제가 발생합니다. 저는 이를 해결하기 위해 반복되는 상태에 대한 **어텐션 키 캐싱 (Caching attention keys)**을 적용하고, 엣지 배포 (Edge deployment)를 위해 더 작은 모델로 **지식 증류 (Knowledge distillation)**를 수행했습니다.

향후 연구 방향: 양자 강화 HADT (Quantum-Enhanced HADT)

최적화를 위해 양자 컴퓨팅 (Quantum computing)을 실험하던 중, **양자 어닐링 (Quantum annealing)**이 HADT의 액션 헤드 (Action head)가 직면한 조합 라우팅 문제 (Combinatorial routing problem)를 해결할 수 있음을 깨달았습니다. UAM에서 100대의 eVTOL을 위해 동시에 다음 버티포트 (Vertiport)를 선택하는 것은 이차 할당 문제 (Quadratic assignment problem)이며, 이는 클래식 컴퓨터에게 NP-난해 (NP-hard) 문제입니다.

저의 **양자-HADT 하이브리드 (Quantum-HADT hybrid)**에 대한 예비 연구는 다음을 사용합니다:

1. 인간의 선호도 (Human preferences)를 기반으로 후보 경로를 생성하는 클래식 HADT (Classical HADT)
2. 함대 수준의 조정 문제 (Fleet-level coordination problem)를 해결하는 양자 어닐러 (Quantum annealer) (D-Wave)

from dwave.system import DWaveSampler, EmbeddingComposite

def quantum_fleet_optimization(candidate_routes, preferences):
...

아직 실험 단계이지만, 초기 결과에 따르면 클래식 그리디 라우팅 (Classical greedy routing)과 비교했을 때 함대 수준의 에너지 효율이 30% 향상되는 것으로 나타났습니다.

결론: 학습 여정에서의 교훈

자율 UAM 라우팅을 위한 인간 정렬형 Decision Transformers에 대한 이번 탐구를 통해, 저는 세 가지 핵심적인 깨달음을 얻었습니다:

1. 정렬 (Alignment)은 단일 숫자가 아니다 — 이는 명시적으로 모델링되어야 하는 다차원적 선호 공간 (Multi-dimensional preference space)입니다. 일반적인 (Vanilla) DT의 스칼라 보상 (Scalar reward)은 실제 UAM 운영에 있어 근본적인 한계가 있습니다.

2. 인간의 선호도는 학습 가능하다 — 단 50개의 시연 (Demonstrations)만으로도 HADT는 새로운 시나리오로 일반화할 수 있으며, 심지어 운영자별 스타일에도 적응할 수 있습니다.

3. 탄소 네거티브 인프라는 지능형 라우팅을 필요로 한다 — 단순히 태양광 기반의 버티포트를 구축하는 것만으로는 충분하지 않습니다. 환경적 이익을 극대화하기 위해 능동적으로 경로를 선택하는 AI가 필요합니다.

좌절감을 느끼던 강화학습 (RL) 실무자에서 인간 정렬형 (human-aligned) 시스템을 구축하기까지의 여정은 저를 겸허하게 만들었습니다. HADT가 완벽한 것은 아닙니다. 비상 착륙과 같은 드문 엣지 케이스 (edge cases)에는 여전히 어려움을 겪고 있습니다. 하지만 이는 단순히 최적화만 하는 것이 아니라, 인간 운영자와 협력하는 (collaborate) AI 시스템을 향한 한 걸음을 의미합니다.

만약 자율 시스템 (autonomous systems)을 연구하고 계신다면, Decision Transformers와 인간 정렬 (human alignment)을 실험해 보시기를 권장합니다. 제 실험 코드는 제 GitHub에서 확인하실 수 있습니다 (링크는 댓글 참조). 도심 항공 모빌리티 (UAM)의 미래는 우리가 무엇을 원하는지뿐만 아니라, 우리가 그것을 왜 원하는지까지 이해하는 AI를 구축하는 데 달려 있습니다.

이 기사는 저의 개인적인 연구와 실험을 바탕으로 작성되었습니다. 모든 코드 스니펫은 가독성을 위해 단순화되었습니다. 전체 구현 내용은 제 저장소 (repository)를 참조하십시오.