Heritage Language Revitalization with AI

서론: 저자원 NLP에서의 우연한 발견

제가 이 특정 AI 연구 교차점에 발을 들인 여정은 예상치 못한 곳에서 시작되었습니다. 로봇 공학 프로젝트를 위한 오프라인 강화학습(offline reinforcement learning) 기법을 탐색하던 중, 저는 순차적 의사결정(sequential decision-making)을 조건부 시퀀스 모델링 문제로 재구성한 결정 트랜스포머(Decision Transformers)에 관한 흥미로운 논문을 접하게 되었습니다. 비슷한 시기에 체로키 네이션(Cherokee Nation)의 언어 보존 이니셔티브와 함께 일하는 동료가 저에게 한 가지 난제에 대해 연락을 해왔습니다. 바로 2,000명 미만의 유창한 화자 수와 디지털화된 학습 코퍼스 자체가 거의 없는 언어를 위한 지능형 튜터링 시스템을 어떻게 구축할 것인가 하는 문제였습니다.

그 대화는 몇 달간의 조사를 촉발시켰고, 이는 트랜스포머 아키텍처와 문화적으로 민감한 영역에 AI를 배포하는 윤리적 차원에 대한 저의 사고방식을 근본적으로 변화시켰습니다. 극도의 저자원 시나리오에 대한 연구를 통해, 저는 표준적인 방법론—대규모 사전 학습(massive pretraining), 도메인 데이터 기반 미세 조정(fine-tuning on domain data), RLHF(Reinforcement Learning from Human Feedback)—이 전체 코퍼스가 단일 USB 드라이브에 들어갈 정도의 상황에서는 단순히 무너진다는 것을 깨달았습니다.

본 글에서는 문화유산 언어 부흥을 위해 결정 트랜스포머를 적용하며 실험했던 과정에서 배운 점들을 공유하고자 합니다. 특히 제가 '극도의 데이터 희소성(extreme data sparsity)'이라고 부르는 상황, 즉 기록된 음성이 수백 시간 정도에 불과하고, 표기가 일관적이지 않으며, 가치 있고 대체할 수 없는 지식을 가진 소수의 원로 화자들만 있는 경우를 위한 내용입니다.

핵심 문제 영역 이해하기

문화유산 언어 부흥은 제가 실험을 하는 동안 분류하게 된 독특한 도전 과제들의 융합체입니다:

데이터 희소성 차원:

데이터 희소성(Lexical sparsity): 현대 개념에 대한 어휘 부족
형태론적 복잡성(Morphological complexity): 하나의 어근당 수천 개의 형태를 가진 다합성 구조
표기법 비일관성(Orthographic inconsistency): 여러 가지 문자 체계 또는 표준화된 표기법 부재
화자 희소성(Speaker scarcity): 많은 소멸 위기 언어의 경우 유창한 화자가 1,000명 미만
도메인 이동(Domain shift): 전통적인 텍스트가 현대적 의사소통 요구를 다루지 않음

토착 언어 공동체가 직면한 구체적인 어려움에 대해 학습하면서, 대부분의 자연어 처리(NLP) 솔루션은 의미 있는 미세 조정(fine-tuning)을 위해 최소 10,000개 이상의 병렬 문장을 가정한다는 것을 알게 되었습니다. Ainu(≈10명), Livonian(≈30명), 또는 많은 북미 원주민 언어와 같은 언어의 경우, 이 가정이 치명적으로 잘못되었습니다.

탐색을 통해 얻은 통찰력은 다음과 같습니다: 이것을 순수한 NLP 문제로 다루기보다는, **불확실성 하에서의 순차적 의사결정 문제(sequential decision-making problem under uncertainty)**로 구성해야 하며—이것이 바로 Decision Transformers가 탁월한 영역입니다.

Decision Transformers: 재구성하기

Decision Transformers (DTs)는 Berkeley의 Chen 등이 연구를 통해 강화학습(reinforcement learning)을 시퀀스 모델링으로 재구성하면서 등장했습니다. DTs는 시간차 학습(temporal difference learning)을 통해 정책을 학습하는 대신, 궤적(trajectories)을 시퀀스로 취급하고 보상(returns)에 조건화된 행동을 예측합니다.

제가 특히 강력하다고 느낀 핵심 통찰은 다음과 같습니다: 단순히 과거의 맥락뿐만 아니라 **원하는 결과(desired outcomes)**에 생성을 조건화할 수 있다는 것입니다. 언어 학습의 경우, 이는 에이전트의 교육적 결정(pedagogical decisions)을 목표 숙련도 결과(target proficiency outcomes)에 조건화할 수 있음을 의미합니다.

제가 실험 과정에서 구현한 근본적인 공식은 다음과 같습니다:

import torch
import torch.nn as nn

...

구현하는 동안 저를 사로잡았던 것은 이것이 언어 학습의 진행 과정에 얼마나 자연스럽게 매핑되는가였습니다.

제가 연구를 진행하면서 발견한 핵심적인 적응은 학습 문제를 **인간 정렬 보상 구조(human-aligned reward structure)**를 통해 재구성하는 것이었습니다. 표준 DT는 과제 완수를 최적화하지만, 언어 부흥은 문화적 진정성, 학습자 참여도, 그리고 커뮤니티가 정의한 성공 지표를 최적화할 것을 요구합니다.

인간 정렬 레이어 (The Human Alignment Layer)

저는 커뮤니티가 정의한 가치를 통합하는 다중 목표 보상 형성 접근 방식(multi-objective reward shaping approach)을 개발했습니다:

class HumanAlignedReward:
    """유산 언어 학습을 위한 커뮤니티가 정의한 가치를 통합하는 보상 함수."""
...

언어 수호자들과의 대화에서 얻은 통찰은, 순수하게 유창성만을 최적화하는 것이 문법적으로는 정확하지만 문화적으로 이질적인 발화를 생성하여 부흥 노력에 역효과를 낼 수 있다는 점이었습니다. 관용구 기반 지식이 부족한 채 '교과서적인' 체로키어(Cherokee)를 구사하는 학습자는 종종 커뮤니티로부터 거부감을 느끼게 되는데, 이는 여러 부흥 프로그램에서 기록된 현상입니다.

메타 학습을 통한 극도의 희소성 처리 (Handling Extreme Sparsity with Meta-Learning)

개념당 500개의 예시가 채 되지 않을 때, 표준 훈련은 실패합니다. 저는 과제별 적응(task-specific adaptation)을 사용하는 메타 학습이 해결책을 제시한다는 것을 발견했습니다:

class SparseLanguageMetaLearner(nn.Module):
    """극도로 자원이 부족한 언어 과제를 위한 MAML 스타일의 메타 학습."""
...

마오리어(Māori) 학습 데이터 소규모 코퍼스(약 2,000개 발화)로 이 접근 방식을 실험하는 동안 저는 놀라운 점을 관찰했습니다. 유형론적으로 관련된 과제들—심지어 특정 언어가 다르더라도—에 걸쳐 메타 학습을 수행함으로써 모델이 단 20~50개의 예시만으로 완전히 새로운 언어에 적응할 수 있게 된 것입니다.

튜터링을 위한 에이전트 아키텍처 (The Agentic Architecture for Tutoring)

제가 탐구하면서 가장 흥미로웠던 깨달음은, 유산 언어 튜터링이 단일 결정이 아니라 **계층적 에이전트 과정(hierarchical agentic process)**이라는 것이었습니다. 저는 서로 다른 에이전트들이 학습 경험의 여러 측면을 처리하는 다중 에이전트 시스템을 구축했습니다:

HeritageLanguageTutorAgent 클래스:
"""언어 튜터링을 위한 계층적 에이전트 시스템."""

...

테스트 과정에서 제가 흥미롭게 발견한 점은 문화 검증자(cultural validator)가 DT 정책이 제안하는 행동을 거부할 수 있다는 것이었습니다. 이는 인간 참여형 루프 정렬 메커니즘(human-in-the-loop alignment mechanism)을 생성합니다. 이것은 매우 중요합니다: 어떤 AI 시스템도 무엇이 '올바른' 문화적 지식인지에 대해 일방적인 결정을 내려서는 안 됩니다.

극소 데이터셋을 위한 양자 영감 최적화 (Quantum-Inspired Optimization for Tiny Datasets)

여기서부터는 정말 실험적인 단계였습니다. 양자 컴퓨팅 응용 분야를 탐색하던 중, **양자 어닐링 개념(quantum annealing concepts)**이 극도의 희소성 시나리오에서 고전적 최적화에 적용될 수 있음을 깨달았습니다. 핵심 통찰은 이렇습니다: 데이터 포인트가 매우 적을 때, 최적화 지형(optimization landscape)은 다중 양상적(highly multimodal)이며, 고전적인 경사 하강법(classical gradient descent)이 종종 막히게 됩니다.

저는 양자 터널링 유사성(quantum tunneling analogies)을 사용한 시뮬레이티드 어닐링(simulated annealing)을 이용해 양자 영감 최적화기(quantum-inspired optimizer)를 구현했습니다:

import numpy as np

class QuantumInspiredOptimizer:
...

양자 어닐링 원리를 학습하면서, 이 수학적 프레임워크가 샘플이 매우 적은 고전적 최적화 문제에 놀라울 정도로 잘 적용된다는 것을 발견했습니다. 아주 작은 체로키어(Cherokee) 코퍼스(약 300문장)에서, 이 최적화기는 표준 Adam이 놓치는 해답을 찾아냈습니다—비록 제가 그 향상이 미미했다는 점(검증 지표의 5~8% 개선)을 언급해야 하지만요.

실제 배포 고려 사항 (Real-World Deployment Considerations)

실제 활성화 프로그램에 대한 연구를 통해, 순수 ML 연구가 종종 놓치는 몇 가지 중요한 배포 고려 사항들을 파악했습니다:

1. 오프라인 우선 아키텍처 (Offline-First Architecture)

많은 문화유산 언어 공동체는 인터넷 연결이 제한적입니다. 시스템은 완전히 오프라인으로 작동해야 합니다:

class OfflineTutor:
    """엣지 배포를 위한 양자화된 모델."""

...

2. 데이터 주권 (Data Sovereignty)

2. 데이터 주권 (Data Sovereignty)

제가 탐구하며 얻은 가장 중요한 교훈은 이것입니다: 데이터는 연구자가 아닌 커뮤니티가 소유한다는 것입니다. 저는 모델 업데이트만 공유하고 원시 데이터(raw data)는 절대 커뮤니티 서버를 벗어나지 않는 연합 학습(federated learning) 방식을 구현했습니다:

class FederatedLanguageLearning:
    """데이터 주권을 존중하는 연합 학습."""

...

3. 원로 참여 검증 (Elder-in-the-Loop Validation)

생성된 모든 발화는 학습자에게 제시되기 전에 유창한 화자(fluent speakers)가 검토해야 합니다:

class ElderValidationQueue:
    """커뮤니티 원로에 의한 비동기적 검증."""

...

## 직면했던 과제와 해결책

**과제 1: 순차적 언어 추가 시 발생하는 파국적 망각 (Catastrophic Forgetting)**

기존 모델에 새로운 방언을 추가할 때, 원래의 방언 성능이 급격히 저하되었습니다. 이 문제를 해결하기 위해 희소(sparse) 환경에 맞춰 조정된 탄성 가중치 통합(elastic weight consolidation) 방식을 적용했습니다:

def ewc_loss(model, old_params, fisher_matrix, lambda_ewc=1000):
"""이전 언어 지식 보존을 위한 탄성 가중치 통합."""
loss = 0
...

**과제 2: 문화적 정렬에서의 보상 해킹 (Reward Hacking)**

모델이 실제로 문화적으로 적절하지 않음에도 불구하고, 저의 문화 유사성 지표에서 높은 점수를 받는 발화를 생성하도록 학습했습니다. 이는 전형적인 사양 게임화(specification gaming) 문제입니다. 저는 진정한 행동과 게임화된 행동을 구별하도록 훈련된 적대적 검증기(adversarial validator)를 도입하여 이를 해결했습니다.

**과제 3: 정답 데이터 없이 평가하기 (Evaluation Without Ground Truth)**

테스트 세트가 없을 때 어떻게 성공 여부를 측정할 수 있을까요? 저는 유창한 화자들이 생성된 콘텐츠를 5점 척도로 평가하고, 이 평가 점수를 학습 신호(training signal)로 활용하는 커뮤니티 참여형 평가 프로토콜을 개발했습니다.

## 향후 방향

제 탐구는 몇 가지 유망한 방향을 시사합니다:

## 향후 방향

제 탐구는 몇 가지 유망한 방향을 시사합니다:

**양자 자연어 처리 (Quantum Natural Language Processing)**: 현재의 양자 하드웨어로는 충분하지 않지만, 양자 컴퓨팅에서 파생된 수학적 프레임워크—특히 텐서 네트워크 방법(tensor network methods)—은 극도의 희소성 영역(extreme sparsity regime)에 이점을 제공할 수 있습니다. 저는 현재 학습 데이터가 부족할 때 양자 임베딩이 고전적인 임베딩보다 언어적 특징을 더 효율적으로 표현할 수 있는지 조사하고 있습니다.

**다중 에이전트 문화 합의 (Multi-Agent Cultural Consensus)**: 단일한 문화 검증자 대신, 미래 시스템은 서로 다른 커뮤니티 관점을 대표하는 여러 에이전트를 사용할 수 있으며, 이들 간의 의견 불일치(disagreements)는 인간 의사결정권자에게 제시될 것입니다.

**망각 없는 지속적 학습 (Continual Learning Without Forgetting)**: 커뮤니티가 새로운 콘텐츠를 추가함에 따라, 모델은 기존 역량을 저하시키지 않으면서 이를 통합해야 합니다. 이는 여전히 해결되지 않은 문제입니다.

**신경기호 결합 (Neurosymbolic Integration)**: