모델 기반 연구 (Model-Guided Research): 차세대 AI를 위한 수학적 기초

이론적 탐구부터 프로덕션 구현까지: 딥러닝의 이국적인 수학 구조에 대한 체계적인 조사

📍 빠른 탐색 (Quick Navigation)

• 프로젝트 개요 - 본 프로젝트가 다루는 내용
• 이중 구현 전략 - 연구(JAX) + 프로덕션(PyTorch)
• 빠른 시작 - 실행하기
• 13가지 수학적 프레임워크 - 모든 구현 둘러보기
• Nanochat: 프로덕션 트랜스포머 - 13가지 선택 가능한 어텐션 유형을 가진 통합 GPT
• 실험 매트릭스 - 체계적인 평가 프레임워크
• CLI 사용법 - 데모 및 실험 실행 방법
• 프로젝트 구조 - 저장소 구성

이것은 새로운 패러다임을 나타냅니다: 수학적 발견의 진정한 파트너로서의 AI 시스템으로, 단순히 문제를 해결하는 것을 넘어 어떤 문제가 풀 가치가 있는지 식별할 수 있습니다.

진화 과정: 데모에서 프로덕션까지

이 프로젝트는 세 가지 뚜렷한 단계를 거쳐 발전했습니다:

1단계: 수학적 탐색 (JAX 데모)

• 이국적인 수학 구조에 대한 13개의 독립형 시연(demonstration)
• 순수 연구 초점: "원칙적으로 가능한가?"
• 풍부하고 상호작용적인 시각화
• 속성 검증 및 건전성 점검 (sanity checks)

2단계: 통합 (Nanochat)

• PyTorch 기반의 프로덕션 준비가 된 GPT 트랜스포머
• 프레임워크 구현을 아우르는 13가지 선택 가능한 어텐션 타입(attention types)
• 체계적인 실험 프레임워크
• 코드 변경 없이 실행 시 구성 (Runtime configuration)

3단계: 체계적 평가 (현재)

• 포괄적인 벤치마킹 인프라(benchmarking infrastructure)
• 태스크 조정을 위한 MCP 에이전트 메일(Agent Mail)
• 여러 옵티마이저 및 스케줄러
• 전체 실험 매트릭스에 걸친 A/B 테스트

🔄 이중 구현 전략 (Dual Implementation Strategy)

이 프로젝트는 각 수학적 프레임워크에 대한 두 가지 보완적인 구현체를 유지합니다:

JAX 데모 시연 (탐색)

위치: 루트 디렉토리 (*.py 파일)
목적: 상호작용적인 탐색 및 검증
특징:

• 자체 포함형, 실행 가능한 데모
• 시각화가 포함된 풍부한 콘솔 출력
• 상세한 수학적 주석(commentary)
• 속성 확인 및 건전성 테스트
• 각각 약 500~1000줄로 구성되며, 명확성에 초점을 맞춤

실행 방법:

mgr list                    # 모든 데모 보기
mgr run matrix-gauge        # 특정 데모 실행
mgr run-all                 # 모든 13개 데모 실행

PyTorch 프로덕션 (구현)

위치: nanochat/ 디렉토리
목적: 모든 프레임워크를 갖춘 프로덕션 준비 트랜스포머
특징:

• 통합된 GPT 아키텍처
• 드롭인(drop-in) 어텐션 메커니즘 교체 기능
• 훈련 인프라
• 여러 옵티마이저 및 스케줄러
• 각 어텐션 메커니즘당 약 100~200줄

실행 방법:

python -m nanochat.train --attention-type tropical --optimizer-type hoss
python -m nanochat.train --attention-type quaternion --scheduler-type ordinal

둘 다 필요한 이유?

JAX 데모가 제공하는 것:

• 교육적 가치 (Pedagogical value): 수학을 상호작용적으로 이해할 수 있음
• 신속한 프로토타이핑 (Rapid prototyping): 새로운 아이디어를 빠르게 테스트할 수 있음
• 속성 검증 (Property validation): 수학적 주장을 검증할 수 있음
• 격리 (Isolation): 한 번에 하나의 개념을 연구할 수 있음

PyTorch Nanochat이 제공하는 것:

• 체계적인 비교 (Systematic comparison): 모든 프레임워크를 A/B 테스트할 수 있음
• 운영 환경 준비 완료 (Production readiness): 실제 훈련 인프라가 갖춰져 있음
• 재현성 (Reproducibility): 표준화된 평가 프로토콜을 제공함
• 확장성 (Scalability): 장난감 모델부터 운영 규모까지 지원함

이 둘의 결합이 만들어내는 것:

• 연구 → 구현 파이프라인 (Research → Implementation pipeline): JAX에서 검증하고 PyTorch에서 배포할 수 있음
• 양방향 학습 (Bidirectional learning): 운영 환경에서의 통찰력이 연구에 정보를 제공함
• 종합적인 검증 (Comprehensive validation): 이론, 데모, 경험적 결과를 모두 활용함

🚀 빠른 시작

전제 조건

• Python 3.13+ (최신 Python 기능 사용)
• uv - 최신 Python 패키지 매니저
  복사

  curl -LsSf https://astral.sh/uv/install.sh | sh
  

  1

  2
• 8GB+ RAM 권장
• CUDA 호환 GPU (선택 사항이지만 nanochat 훈련에 권장됨)

설치

# 저장소 클론하기
git clone https://github.com/Dicklesworthstone/model_guided_research
cd model_guided_research
...

간략한 둘러보기 (Quick Tour)

# 0분 만에 보여주는 기능: 하나의 명령으로, 다운로드 없이: 작업을 생성하고,
# 두 개의 수학 트랜스포머를 그 작업에 대해 훈련시키고, 그 불변량을
# 실시간으로 인증하며, 나란히 작동하는 것을 보고, 비교표를 읽습니다.
...

📂 프로젝트 구조

model_guided_research/
├── README.md                          # 이 파일
├── AGENTS.md                          # 개발 지침
...

🔬 13가지 수학적 프레임워크

각 프레임워크는 두 번 구현되었습니다:

1. JAX Demo: 시각화를 통한 인터랙티브 탐색
2. PyTorch Attention: nanochat의 프로덕션 레디 메커니즘

충실도 참고 사항: PyTorch 메커니즘 중 세 가지(simplicial, fractal, surreal)는 가벼운 기본 프록시 계층(backward golden/ledger parity를 위해)과 --simplicial-triplet (simplicial_triplet=True), --fractal-ifs (fractal_ifs=True), 그리고 --surreal-scaling-axis (surreal_scaling_axis=True)를 통해 활성화되는 충실한 수학적 계층을 모두 지원합니다. 가설 레지스트리에서 프록시 계층 항목은 PROXY TIER 주석을 가지고 있으며, 충실 계층 항목(ids가 -faithful로 끝남)은 해당 구성 플래그를 선택합니다.

1. 행렬 지수 게이지 학습 (Matrix Exponential Gauge Learning)

핵심 아이디어: 안정적인 신경망 아키텍처를 위한 리 군/대수 기계 장치
JAX Demo: matrix-gauge | 문서화 | 코드
PyTorch: nanochat/gauge_block_torch.py | 사용법: --attention-type gauge

수학적 기초:

• 지수 사상 (Exponential map): exp(A)는 리 대수(무한소)와 리 군(유한)을 연결합니다.
• 구조화된 생성자: SO (반대칭 → 회전), SPD (대칭 → 스케일링), Sp (해밀토니안 → 심플렉틱)
• 베이커-캠벨-하우스도르프 공식 (Baker-Campbell-Hausdorff formula)은 비가환성을 포착합니다.
• 누적 게이지 필드를 이용한 병렬 수송

중요성:

• 증명 가능한 안정성(곡률 경계)
• 정확한 보존 법칙(에너지, 운동량)
• 기하학적 구조가 기울기 병리 현상을 방지합니다.
• 다중 스케일 동역학을 위한 자연스러운 프레임워크

구현 하이라이트:

• 정확한 직교성을 위한 Givens/Cayley 매개변수화
• SPD 행렬의 지수분해 (Eigendecomposition exp)
• 정확한 포아송 샘플링을 이용한 균일화 (Uniformization)
• 블록별 곡률 진단(Per-block curvature diagnostics)

2. 초범위 메트릭 세계와 p-adic 계산

핵심 아이디어: p-adic 초범위 공간을 이용한 계층적 어텐션
JAX 데모: ultrametric | 문서화 | 코드
PyTorch: nanochat/ultrametric_attention_torch.py | 사용법: --attention-type ultrametric

수학적 기초:

• 초범위 거리 (Ultrametric distance): d(x,z) ≤ max(d(x,y), d(y,z)) (강한 삼각형 부등식)
• p-adic 수: 계층적 구조를 가진 대안적인 수 체계
• 서브-2차 어텐션을 위한 최장 공통 접두사 (LCP) 라우팅
• 트리 구조 주소 지정 방식을 통한 O(N log N) 복잡도

중요성:

• 서브-2차 어텐션 (표준 방식의 O(N²) 대비)
• 캐시 친화적인 계층적 접근 패턴
• 계층적 데이터(구문 트리, 분류 체계 등)에 자연스러움
• 예측 가능한 메모리 사용량

구현 하이라이트:

• 빠른 LCP 계산을 위한 비트 접두사 LSH 시그니처
• O(1) 접두사 조회를 갖는 배열 패킹 버킷
• 초범위 융합을 이용한 다중 헤드 구성
• N≈4096+ 시퀀스까지의 안정적인 확장성

3. 열대 기하학 및 아이데모트 대수

핵심 아이디어: 조각별 선형 네트워크를 위해 (+,×)를 (max,+)로 대체
JAX 데모: tropical | 문서화 | 코드
PyTorch: nanochat/tropical_attention_torch.py | 사용법: --attention-type tropical

수학적 기초:

• 열대 반환 (Tropical semiring): (max, +) 연산
• 대수적으로 조각별 선형 구조가 나타남
• 열대 다항식 (Tropical polynomials): max(c₁+x₁, c₂+x₂, ...)
• 마진 분석을 통한 강건성 증명서

중요성:

• 설계 단계에서부터 조각별 선형적임 (해석 가능성)
• 1-Lipschitz 속성 (강건성 보장)
• 열대 의미에서의 정확한 볼록성
• 결정 경계에 대한 검증 가능한 마진

구현 하이라이트:

• Max-plus GEMM 연산
• 샘플별 경로 추적
• Min-gap/2 반경 인증서
• 매개변수 효율을 위한 희소 혼합 그리드

4. 단순 복합체 및 고차 어텐션 (Simplicial Complexes & Higher-Order Attention)

핵심 아이디어: 쌍별 어텐션을 넘어서는 다중 신체 상호작용
JAX 데모: simplicial | 문서화 | 코드
PyTorch: nanochat/simplicial_attention_torch.py | 사용법: --attention-type simplicial [--simplicial-triplet]

수학적 기초:

• 단순 복합체 (Simplicial complexes): 정점(0), 엣지(1), 삼각형(2), ...
• 고차 라플라시안 (Higher-order Laplacians): k-단순체에 대한 $
  abla^2_k$
• 호지 분해 (Hodge decomposition): 그래디언트 + 컬 + 조화 성분
• 위상학적 특징을 위한 영속성 호몰로지 (Persistent homology)

중요한 이유:

• k-방향 상호작용 포착 (단순히 쌍별이 아님)
• 데이터 내의 위상학적 특징 (사이클, 공극)
• 개별 관계를 넘어서는 그룹 역학
• 이산 추론을 위한 조합론적 구조

구현 하이라이트 (프록시 및 충실 2-단순체 계층):

• 프록시 계층 (--simplicial-triplet 비활성화, 기본값): KV-캐시를 이용한 1-홉 히스토리를 가진 1-골격(1-skeleton)에서의 2-홉 확산 $ ext{m1} ullet ( ext{A v}) + ext{m2} ullet ( ext{A (A v)})$
• 충실 2-단순체 계층 (--simplicial-triplet): 인과 삼각형 $j_1 < j_2 ext{ <= } i$에 걸쳐 --simplicial-window 내에서 정의되는 반대칭 코바운더지 웨지 2-코체인 $ ext{M}i[a,b] = <q_i, k_a * (U{ ext{wedge}} k_b) - k_b * (U_{ ext{wedge}} k_a)> / ext{sqrt}(d_h)$를 방향성 경계 연산자 $ ext{∂}_2 ext{α}^{(2)}$ (정확한 영 합 경계 보존)을 통해 집계.

5. Quaternion & Octonion Attention (초복소수 대수)

핵심 아이디어: 회전 인지(rotation-aware) 특징을 위한 4D/8D 초복소수(hypercomplex numbers)
JAX 데모: octonion | 문서화 | 코드
PyTorch Quaternion: nanochat/quaternion_attention_torch.py | 사용법: --attention-type quaternion
PyTorch Octonion: nanochat/octonion_attention_torch.py | 사용법: --attention-type octonion

수학적 기초:

• 쿼터니언 (Quaternions) ($ ext{ℍ}$): 4D, 결합 법칙 만족(associative), 비가환(non-commutative)
  • $ ext{q} = w + xi + yj + zk$
  • 3D 회전(rotors) 표현
  • 조합을 위한 Hamilton 곱셈
• 옥토니언 (Octonions) ($ ext{𝕆}$): 8D, 비결합 법칙 만족(non-associative), 대체 법칙 만족(alternative)
  • 쿼터니언 위의 Cayley-Dickson 구성
  • 가장 큰 노름화 나눗셈 대수 (Hurwitz 정리)
  • 특이 리 군(Exceptional Lie groups) ($ ext{G}_2, ext{F}_4, ext{E}_8$) 연결

중요한 이유:

• 3D/공간 데이터의 자연스러운 처리
• 내장된 회전/반사 불변성(invariances)
• 매개변수 효율성 (쿼터니언 1개 = 4 자유도(DOF))
• 실수/복소수보다 풍부한 대수 구조

구현 하이라이트:

• 쿼터니언 "로터 게이트" 어텐션: $ ext{y} = ext{Q} * ( ext{K}^ op * ext{V})$
• 옥토니언 비결합 법칙 혼합 (명시적 괄호 처리)
• 명시적인 정규화 없이 노름 보존
• 아키텍처 제약 조건 ($ ext{head} ext{ extunderscore} ext{dim} mod 4 == 0$ 또는 $mod 8 == 0$)