가중치가 곧 데이터: 신경망 가중치 공간 학습(WSL)이 어떻게 AI의 차세대 훈련 데이터셋이 되는가

다음은 TWIML AI Podcast 제772기 《Why Models Are AI's Next Training Dataset》 인터뷰 전사 정리입니다. 게스트는 St. Gallen 대학교의 AI 및 머신러닝(Machine Learning) 교수인 Damian Borth이며, 진행자는 Sam Charrington입니다.

상세 내용을 소개하기 전에, WSL이 모델 증류(Model Distillation)와 동일한 것인지 먼저 이야기해 보겠습니다.

답은 같지 않지만, 혼동하기 쉽습니다. 우선 두 가지를 분리한 다음, Borth의 "가중치 공간 학습 (Weight Space Learning, WSL)"과 대조해 보면 명확해질 것입니다.

1. Anthropic이 Alibaba를 비난한 사건은 무엇인가

Anthropic은 2026년 6월 미국 상원에 서한을 보내, Alibaba의 Qwen 팀이 4/22~6/5 기간 동안 약 25,000개의 가짜 계정을 사용하여 Claude를 약 2,880만 번 호출했으며, Claude의 답변을 자신의 모델을 학습시키기 위한 훈련 데이터로 사용했다고 주장했습니다. 그들은 이를 "증류 공격 (distillation attack)"이라고 불렀습니다.

본질적으로 이것은 **블랙박스/API 계층의 데이터 증류 (Data Distillation)**입니다:

• 교사(Teacher) = Claude (출력 텍스트만 볼 수 있음)
• 학생(Student) = Qwen 계열 모델
• 방법 = Claude의 생성 텍스트(Hard Label, 최대 Soft Label 추가)를 코퍼스(Corpus)로 사용하여 학생 모델을 학습
• 목적 = 능력 전이, 훈련 비용 절감

주의: 이것은 "화이트박스 증류 (White-box Distillation)"와는 다릅니다. (주장에 따르면) Alibaba는 Claude의 가중치(Weights)를 얻은 것이 아니라 대화 텍스트를 얻은 것입니다. 업계에서는 "강력한 모델의 출력을 훈련 데이터로 사용하는 것"을 통칭하여 증류라고 부르지만, 엄격한 학술적 정의로는 이는 블랙박스 지식 증류 (Black-box Knowledge Distillation, KD) 또는 데이터 증류에 불과합니다.

2. Borth의 "가중치를 데이터로 사용"하는 것이 증류인가

형식적으로는 유사하지만, 본질적으로는 다릅니다.

Borth는 논문에서 WSL을 "가중치 상에서 직접 수행되는, 훈련 기반의 지식 재사용"으로 볼 수 있다고 인정했습니다. 하지만 WSL은 KD처럼 원본 데이터셋을 실행하여 활성화 값(Activation)을 얻을 필요도 없고, 교사 모델의 온라인 추론(Inference)도 필요하지 않습니다. 대신 "학습된 모델의 집합"을 텍스트, 이미지에 이은 **세 번째 데이터 모달리티 (Data Modality)**로 취급합니다.

간단히 말하면:

• 증류는 "레시피로 만들어진 요리(출력)를 보고 요리법을 배우는 것"입니다.
• WSL은 "수백 가지 완성된 요리의 무게를 재고, 슬라이스하고, 재료 분포를 분석한 뒤, 직접 새로운 요리의 무게 배합을 만들어내는 것"입니다. 불을 켜지도 않았고, 요리의 맛을 보지도 않았습니다.

3. 왜 사람들이 혼동하는가

두 방식 모두 "기존 모델의 지식을 재사용"하기 때문입니다. 또한 WSL이 생성한 가중치는 실제로 초기화(Initialization)로 사용될 수 있고 도메인 간 전이(Cross-domain Transfer)가 가능합니다 (예: ImageNet 모델 가중치를 사용하여 원격 탐사 모델을 학습시키면, 처음부터 학습할 때 12,000 GPU 시간이 걸릴 것을 350 GPU 시간 만에 끝낼 수 있음). 효과 측면에서는 "선배의 경험을 증류한 것"처럼 보입니다. 하지만 메커니즘 측면에서는 다음과 같습니다:

• KD의 지식 매개체는 순방향 동작 (Forward Behavior) (Logits / 텍스트)입니다.
• WSL의 지식 매개체는 파라미터 기하학적 구조 (Parameter Geometric Structure) (가중치 공간 내의 매니폴드(Manifold), 대칭성, 궤적)입니다.

따라서 Borth는 인터뷰에서 "가중치는 학습의 출력일 뿐만 아니라, 학습의 입력이 될 수도 있다"라고 특별히 언급했습니다. 이 말의 함축된 의미는 다음과 같습니다: 이것을 KD로 분류하지 마라, 이것은 새로운 모달리티의 학습 문제이다.

4. 한 줄 요약

Anthropic이 Alibaba에 불만을 제기한 것은 "당신이 우리 모델이 내뱉은 문장을 교재로 훔쳐 썼다"는 것이고, Borth의 방식은 "나는 인터넷에 공개된 모델(허가된 경우 당신의 모델 포함)의 가중치 파일을 코퍼스로 사용하여, 가중치를 생성할 줄 아는 메타 모델(Meta-model)을 학습시킨다"는 것입니다. 전자는 API 약관과 영업 비밀의 경계를 침범하는 것이고, 후자는 이미 공개된 가중치(Hugging Face 등에 라이선스와 함께 공개됨)를 사용하는 것이며, 기술 계보상으로도 "증류"보다는 "신경 구조 탐색 (Neural Architecture Search, NAS) + 초네트워크 (Hypernetwork)"에 더 가깝습니다.

제(1)부 프로그램 오프닝 및 연구 개요: 훈련 데이터가 고갈될 때, 가중치는 새로운 연료가 된다 (0% - 8%)

1. 프로그램 도입 및 핵심 명제: 진행자는 현재 AI 분야의 가장 심각한 문제 중 하나인 고품질 훈련 데이터의 고갈 문제를 지적합니다. 일부 연구자들은 합성 데이터 (synthetic data)에 베팅하고, 다른 이들은 추론 시 계산 (test-time reasoning)에 집중하고 있습니다. 그러나 이번 회차의 게스트인 Damian Borth는 전혀 다른 경로를 제시합니다. 훈련이 완료된 모든 모델에는 수천, 수만 GPU 시간 동안 무엇이 효과적인지를 탐색한 경험이 응축되어 있으며, 이러한 가중치 (weights)는 단순히 훈련 과정의 종착점이 아니라 다음 훈련의 시작점이자 데이터 그 자체가 되어야 한다는 것입니다.

2. 게스트 배경 및 연구 방향: Damian Borth는 스위스 성갈렌 대학교 (University of St. Gallen)의 AI 및 머신러닝 (machine learning) 교수입니다. 그의 핵심 연구 주제는 "가중치 공간 학습 (weight space learning / weights based learning)"이며, 원격 탐사 (remote sensing) 및 테이블 데이터 표현 학습 (tabular data representation learning) 분야도 다루고 있습니다. 현재 그는 이러한 방향들을 가중치 공간 학습이라는 하나의 주된 흐름으로 통합하고 있습니다. 그는 이 경로가 커뮤니티가 직면한 여러 까다로운 문제들을 해결할 수 있다고 믿으며, 매우 생소한 아이디어에서 시작했음에도 결과적으로 "예상외로 매우 유용하다"고 평가합니다.

3. 본 섹션의 역할: 전체 영상의 기조를 설정합니다. 즉, "훈련된 모델 가중치"를 텍스트, 이미지와 같은 세 번째 기초 모달리티 (modality)로서, 학습 가능하고 분석 가능하며 새로운 모델 생성에 사용될 수 있는 하나의 데이터 모달리티로 간주하는 것입니다.

제(2)부 가중치 공간 학습의 핵심 아이디어: 가중치를 입력 모달리티로 취급하기 (8% - 20%)

1. 고전적 머신러닝에서 가중치 모달리티로의 패러다임 전환: 고전적인 지도 학습 (supervised learning), 비지도 학습 (unsupervised learning), 자기지도 학습 (self-supervised learning)은 데이터와 출력을 사용하여 신경망 (neural network)을 훈련합니다. 값비싼 훈련 과정을 통해 생성된 "가중치"가 네트워크를 정의하며, 이는 네트워크의 DNA와 같습니다. 지난 10년 동안 이 패러다임은 거대한 혁신을 이끌어냈으며, 생성형 AI (GenAI)의 물결과 함께 지난 몇 년간 점점 더 많은 모델이 Hugging Face, GitHub 등의 저장소에 공개되었습니다.

2. 핵심 비유 — 언어, 픽셀, 가중치의 동형성 (isomorphism):

   • 언어 모델 (Language model): 인터넷상의 모든 문장으로 훈련 → 언어를 분석하고 생성하는 능력을 획득
   • 픽셀 모델 (Pixel model): 인터넷상의 모든 픽셀로 훈련 → 이미지를 분석하고 생성하는 능력을 획득
   • 가중치 모델 (Weight model): 이미 훈련된 모든 신경망의 가중치로 훈련 → 가중치를 분석하고 생성하는 능력을 획득

3. 두 가지 핵심 능력에 대한 비전:

   • 분석 측면: 한 번도 본 적 없고 알지 못하는 새로운 네트워크를 받았을 때, 그 가중치를 더 정확하게 분석할 수 있는가 (예: 정확도, 일반화 간극 (generalization gap), 사용된 활성화 함수 (activation function) 등을 예측)
   • 생성 측면: 목표 작업 (target task)을 위해 처음부터 훈련하는 것보다 훨씬 빠르게 새로운 가중치를 생성할 수 있는가

4. "새로운 모달리티로서의 가중치"가 가져온 미개척 공간: 가중치를 입력 모달리티로 취급하게 되면서 갑자기 거대한 "빈 세계"가 열렸습니다. 가중치 공간의 "언어 번역"은 무엇에 대응하는가? 가중치의 "단어 및 토큰 (token) 생성"은 무엇에 대응하는가? 이 아이디어는 이후 2~3년에 걸쳐 점진적으로 하나의 연구 커뮤니티를 형성하게 됩니다.

제(3)부 기원 이야기: "신경망 지문"에서 첫 번째 오토인코더까지 (20% - 34%)

1. 2020년의 기점 문제——신경망에 "diff"를 할 수 있을까: 초기 아이디어는 매우 간단했습니다. 소프트웨어 코드는 diff를 통해 수백만 줄의 코드 중 어디가 변경되었는지 한눈에 파악할 수 있지만, 신경망은 훈련 시 가중치 업데이트(weight update)를 단 한 번만 수행해도 각 가중치가 미세하게 달라집니다. "모든 것이 다르다면, 아무것도 다르지 않은 것과 같다"—즉, 국소적(local) 수준에서는 극도로 불안정합니다. 이에 팀은 신경망의 가중치/모델을 압축하여 이해 가능한 형태로 만들 수 있는 공간을 찾을 수 있을지 고민하기 시작했습니다.

2. 병렬적인 학술적 맥락: 거의 같은 시기에 Google 터키 팀의 Thomas Unterthiner, Daniel Keysers 등은 가중치를 입력값으로 사용하는 초기 연구를 발표하여, 수동으로 통계적 특징(hand-crafted features)을 추출해 가중치의 정확도를 예측했습니다. 또한 일반화 간극(generalization gap)을 예측하는 연구도 있었습니다. 이들은 모두 "수동 특징 + 전통적 머신러닝 (Machine Learning)" 경로에 속합니다.

3. 엔드투엔드 (End-to-End) 학습의 돌파구: Borth 팀은 타 연구자들이 수동 특징을 사용한다면, 왜 엔드투엔드로 학습하지 않는가라는 의문을 가졌습니다. 그리하여 **오토인코더 (autoencoder)를 사용하여 가중치 시퀀스를 저차원 공간으로 압축한 뒤 재구성(reconstruction)**하는 방식을 제안했습니다. 만약 하나의 신경망 군집(model zoo)으로부터 저차원 매니폴드 (manifold)를 학습할 수 있다면, 이 매니폴드는 정확도, 사용된 훈련 데이터, 학습률 (learning rate) 등의 "잠재 생성 요인 (latent generative factors)" 정보를 인코딩하고 있을 것이라는 가설을 세웠습니다.

4. 첫 번째 논문의 실험 및 결과 (2021년 발표):

   • 동형 모델 동물원 (Isomorphic model zoo) (동일한 데이터와 동일한 아키텍처로 훈련된 수많은 소규모 네트워크)를 대상으로 오토인코더를 훈련함
   • 인코더가 미지의 신경망을 잠재 공간 (latent space)으로 매핑하면, 단순한 선형 회귀 헤드 (linear regression head)를 통해 정확도를 예측함
   • 핵심 능력: 테스트 데이터 없이도 신경망의 정확도를 "예측"할 수 있음
   • 매우 작은 토이 네트워크 (수천에서 수만 개의 파라미터를 가진 embarrassingly small 네트워크)에서 가능성을 검증했으며, 정확도, 일반화 간극, 사용된 활성화 함수 (activation function)를 예측할 수 있었음
   • 잠재 공간을 시각화했을 때, 서로 다른 초기화 상태와 그 진화 궤적을 확인할 수 있었음 (1만 개의 모델을 훈련하고 모델당 50 에포크 (epoch)를 수행하여 궤적이 관찰됨)
   • 600개의 네트워크로 훈련하고 300개를 테스트했을 때, Fashion-MNIST 정확도 예측에 있어 R² 값이 Thomas Unterthiner 등의 기존 가중치 공간 연구보다 우수했음
   • 리뷰어로부터 "작지만 흥미롭다"는 평가를 받아 게재되었으며, 이 4년간의 여정의 도화선이 됨

제(4)부 생성적 가중치와 "흐릿한 가중치"의 난제 (34% - 46%)

1. 디코더의 자연스러운 확장—새로운 네트워크 샘플링 생성: 오토인코더에 인코더가 있다면 디코더도 존재합니다. 그렇다면 잠재 공간에서 샘플링하여 신경망을 생성할 수 있을까요? 개념적으로는 자명해 보였습니다. 그러나 2022년 신경망 생성에 관한 논문은 다음과 같은 사실을 발견했습니다: 생성된 네트워크는 표준 초기화 상태보다 성능이 떨어지며, 완전히 훈련된 네트워크에는 훨씬 못 미친다는 점입니다.

2. "평균 제곱 오차 (MSE) 함정"과 재구성 실패의 역설:

   • 훈련된 오토인코더의 재구성 오차 (MSE)는 매우 낮음
   • 재구성된 가중치를 네트워크에 다시 넣어 순전파 (forward propagation)를 수행하면, 네트워크 전체가 완전히 붕괴됨
   • 근본 원인: MSE는 "평균" 지표입니다. 네트워크는 평균적인 가중치를 매우 잘 재구성할 수 있지만, 함수가 실제로 작동하게 만드는 고주파 (high-frequency)의 미세한 차이들은 무시됩니다.
   • 이미지 생성 분야와의 비유: 초기 생성 모델이 출력하는 이미지는 항상 흐릿했습니다. 이후 "Taming Transformers" 등의 연구에서 MSE를 인지 손실 (perceptual loss)로 교체하고, 양자화 (quantization)와 GAN을 도입하여 이 문제를 해결했습니다.

3. 손실 함수 (Loss function)의 반복적인 탐색: 팀은 정규화 (normalization), 행동 손실 (behavior loss) 등의 대안을 시도하여 생성 품질을 높였으나, 여전히 일부 고주파 정보가 누락되었습니다. 그들은 이를 저주파 정보는 갖추었으나 고주파 정보가 결여된 "흐릿한 가중치 (blurry weights)"라고 자조했습니다.

4. 확장성 병목과 "세 번의 행운"에 대한 성찰: Borth는 "세 번 연속으로 운이 좋을 수는 없다"며, 운이 다하기 전에 반드시 규모를 키워야 한다고 솔직하게 말했습니다. Constantine Schüürhof 등의 추진 하에 팀은 핵심적인 아이디어를 제안했습니다. 바로 모델 전체를 재구성하는 대신, 모델 파라미터를 시퀀스로 취급하여 윈도잉 (windowing) 기법을 적용하고, 윈도우 단위로 재구성하는 것입니다. 이는 원본 모델 시퀀스 길이에 따른 오토인코더의 제약을 해제하여, ResNet 및 더 큰 네트워크로 확장할 수 있게 만들었습니다.

5. Michael Mahoney와의 만남: 2024년 UC Berkeley의 Michael Mahoney와 협력하게 되었습니다. Mahoney는 초기 논의에서 직설적으로 말했습니다. "Damian, 당신이 하는 일은 흥미롭지만, 쓸모가 없어요 (useless)." Borth는 이 기회를 이용해 그를 팀에 합류시켜 이 일을 규모화했고, Mahoney는 이후 논문의 공동 저자가 되었습니다 (그는 이전에도 Charles Martin 등과 함께 Weight Watcher 시리즈의 가중치 분석 작업을 진행 중이었습니다).

제(5)부 커뮤니티의 결집과 방법론의 전이: 대칭성, 증강 및 손실 곡면 (46% - 55%)

1. 회의에서의 "아, 다들 같은 걸 하고 있었구나" 하는 순간: 팀원들은 회의 중에 Technion의 Haggai Maron, Gurrit Shlomo, Yediia 등 유사한 연구를 수행하는 다른 연구자들을 우연히 만나게 되었습니다. 한 학생의 이름표 하단에는 학교 이름 대신 "Weights are the new modality"라고 적혀 있었는데, Borth는 이를 보자마자 즉시 협력을 시작했고 전용 워크숍 (Workshop) 설립을 추진했습니다.

2. 가중치 공간의 특수 구조 — 치환 대칭성 (permutation symmetry):

   • 완전 연결층 (fully connected layer) 내에서 뉴런의 위치는 임의로 교환될 수 있습니다. 가중치의 시퀀스 순서가 바뀌더라도 기저 함수 (underlying function)는 완전히 동일합니다.
   • 이는 가중치 공간에 이미지의 반전(flip)이나 회전(rotation)과 유사한 수많은 "항등 변환 (identity transformation)"이 존재함을 의미합니다.
   • 2021년 첫 논문에서는 이미 대조 손실 (contrastive loss)을 사용하여 증강을 수행했으며, 양의 샘플 쌍 (positive sample pairs)을 구성하기 위해서는 이러한 "가중치 공간 증강 (weight space augmentation)" 작업이 필요합니다.

3. 타 분야의 방법론을 빌려오는 미개척지:

   • 이미지 분야에 "인지 손실 (perceptual loss)"이 있다면, 가중치 공간에는 이에 대응하는 "행동 손실 (behavior loss)"이 있습니다.
   • 이미지에 기하학적 증강 (geometric augmentation)이 있다면, 가중치 공간에는 치환 증강 (permutation augmentation), 스케일 증강 (scale augmentation) 등이 있습니다.
   • 이 분야의 특징은 NLP, CV의 성숙한 아이디어들을 가중치 공간으로 "번역"할 수 있다는 것이며, 이는 거의 비어 있는, 채워져야 할 영역입니다.

4. 손실 곡면 (loss landscape) 이론과의 합류:

   • "모드 연결성 (mode connectivity)" 관련 연구는 참조 모델 간에 모델을 정렬할 수 있습니다.
   • 치환 대칭성은 손실 곡면 상에 수많은 "궤도 (orbits)"가 존재함을 의미합니다. 이 점들은 함수 값은 동일하지만 가중치 공간의 좌표는 다릅니다.
   • 손실 곡면의 진화에 관한 UCSD의 Rose 등의 이론적 연구는 Borth가 학습 과정에서 실제로 어떤 일이 일어나는지 더 잘 이해하도록 도왔으며, 이는 백본 네트워크 (backbone network) 설계에 흡수되었습니다.
   • 이와 유사하게 관련된 개념으로는 "그로킹 (grokking)", "상전이 (phase transition)" — 모델이 갑자기 수렴하거나 갑자기 작동하지 않는 현상 — 등이 있습니다. Borth는 이를 통해 학습을 더 빠르게 만들고, 모델이 어떤 성능 구간 내에서 사용 가능한지에 대한 보장이나 경계를 제시하기를 희망합니다.

5. 분석파 연구와의 상호 보완: Charles Martin의 Weight Watcher는 가중치 행렬의 형태 변화를 분석하여 수렴 여부를 판단하는 데 중점을 두는 반면, Borth 팀의 연구는 "학습" 관점에 중점을 둡니다. 양측은 병행하여 진행되며 결국 같은 목적지에 도달합니다.

제(6)부 토이 모델을 벗어나기: Hugging Face 모델 동물원에서 가중치 공간 파운데이션 모델 훈련하기 (55% - 70%)

1. "1001번째 네트워크"의 난관: 이전에는 아무리 생성을 잘하더라도, "1001번째"를 생성하기 위해서는 먼저 1,000개의 네트워크가 훈련되어 있어야 했습니다. 청중은 당연히 이렇게 물을 것입니다. "이미 1,000개가 있다면, 하나를 더 추가하는 게 무슨 의미가 있죠?" — 따라서 반드시 **이미 공개된 외부의 오픈 웨이트 (Open Weights)**를 활용하는 방향으로 나아가야 합니다.

2. Hugging Face 모델 동물원의 현실:

   • Yahoo 등의 팀이 진행한 "Model Atlas" 프로젝트에 따르면, Hugging Face 모델의 약 30%는 의미 있는 메타데이터 (Metadata)가 전혀 없습니다.
   • 첫 번째 필터링 단계는 이러한 "이름 없는 모델들"을 제거하는 것입니다.
   • 실험 결과: 단순히 규모를 확장하는 것은 효과가 없으며, 모델의 다양성을 높여야만 합니다.

3. 모델 선별 및 점수 함수 (Scoring Function):

   • 컴퓨터 비전 (CV)을 중심으로 집중하며, 언어 모델 (Language Model)은 다음 단계로 계획합니다.
   • 점수 함수는 모델의 인기, 그리고 파생 모델이 아닌 독창적인 모델인지 여부(Hugging Face에는 수많은 "계보형 파생 모델"이 존재함)를 종합적으로 고려하도록 설계되었습니다.
   • 약 20,000개의 모델 중 품질 검사를 통과한 2,000개의 모델을 선별하였으며, 이들은 수십억 개의 파라미터 (Parameters)를 포함하며 백본 네트워크 (Backbone Network) 훈련에 사용됩니다.

4. 아키텍처 불가지론적 토큰화 (Architecture-agnostic Tokenization)의 난제:

   • 서로 다른 시퀀스 길이 (Sequence Length)와 다양한 유형의 네트워크 레이어 (Layer)가 도전 과제로 작용합니다.
   • 싱가포르의 Kawwang 등의 연구에서 영감을 받아, 아키텍처 불가지론적 (Agnostic) 가중치 처리 방식을 채택했습니다.
   • 구체적인 방법: Hugging Face에서 다운로드한 모델 가중치를 읽기 순서에 따라 "무식하게" 펼쳐버려 (Strip away), 매트릭스 (Matrix) 구조를 파괴하고 수백만 파라미터에 달하는 하나의 긴 시퀀스로 직렬화합니다.
   • 그런 다음 이 긴 시퀀스에 대해 토큰화 (Tokenization)를 수행합니다. 동시에 정규화 (Normalization)를 진행합니다 (정규화는 전처리 단계, 토큰화 단계 또는 손실 함수 (Loss Function) 단계에서 수행할 수 있으며, 현재는 데이터 특성에 따라 배치 (Batch) 내에서 수행합니다).

5. 최초의 오픈 웨이트 가중치 공간 모델:

   • 생성과 분석이 모두 가능한 최초의 가중치 공간 모델을 훈련하는 데 성공했으며, 다운스트림 태스크 (Downstream Task)는 판별과 생성을 모두 아우릅니다.
   • 주로 CV에 집중했음에도 불구하고, 예상치 못한 교차 도메인 지식 전이 (Cross-domain Knowledge Transfer)를 달성했습니다: 샘플링된 GPT-2 소형 모델을 초기값으로 사용했을 때, 일반적인 언어 데이터로 처음부터 훈련시킨 것보다 더 빠르게 수렴했습니다. 이는 CV 모델에서 학습된 어떤 지식이 언어 모델로 전이될 수 있음을 증명합니다.

6. "모호한 가중치"는 여전히 미해결 과제:

   • 생성된 모델은 "약간 손상된" 상태이며, 이를 복구하기 위해 보통 약간의 미세 조정 (Fine-tuning) 단계가 필요합니다 (다행히 미세 조정은 매우 빠르게 완료됩니다).
   • 근본적인 원인은 디코더 (Decoder)가 여전히 고주파 정보의 결핍 문제에 갇혀 있기 때문입니다.
   • 장기적인 비전: 만약 이 모든 데이터를 사용하여 "신경망의 파운데이션 모델 (Foundation Model)"을 훈련할 수 있다면, 사용자가 원하는 임의의 모델을 필요에 따라 샘플링할 수 있게 될 것이며, 사전 훈련 (Pre-training)은 완전히 대체될 것입니다. 더 이상 사전 훈련된 모델을 가질 필요 없이, 당신이 필요한 모델을 직접 샘플링하기만 하면 됩니다.

제(7)부 원격 탐사 분야에서의 검증: 350 GPU 시간 vs 12,000 GPU 시간 (70% - 80%)

1. "닭이 먼저냐 달걀이 먼저냐"의 딜레마: 샘플링을 위해서는 앵커 (anchor) 모델이 먼저 인코더를 통과해야 하며, 앵커 모델이 좋을수록 샘플링된 모델도 좋아집니다. 만약 동일 도메인 내라면, "이미 좋은 모델이 있는데 왜 굳이 새로 생성해야 하는가?"라는 질문에 직면하게 됩니다. 이는 전형적인 닭과 달걀의 문제입니다.

2. 교차 도메인 해결책 — 원격 탐사 (Remote Sensing) 적용:

   • CVPR에 발표 예정인 논문: ImageNet ViT를 앵커로 사용하여, 가중치 공간 기계 생성 (Weight Space Machine Generation)을 통해 **원격 탐사 분야의 파운데이션 모델 (Foundation Model)**을 생성함
   • 이는 진정한 지식 전이 (Knowledge Transfer)입니다: 인코더-디코더가 ImageNet에서 학습한 지식을 원격 탐사 도메인으로 옮기며, 생성된 모델은 단순히 ImageNet을 미세 조정 (Fine-tuning)했을 때 도달할 수 있는 성능을 넘어섭니다.

3. 연산량 비교의 놀라운 수치:

   • 현재 SOTA 원격 탐사 모델 (예: ICLR에 발표된 TFM)은 약 12,000 GPU 시간의 학습이 필요합니다.
   • Borth 팀의 방법은 약 350 GPU 시간이면 충분합니다.
   • 가속 비율은 (계산 방식에 따라 다르지만) 20~30배에 달합니다.

4. "데이터 고갈" 시대에 이 경로가 특히 중요한 이유:

   • 스케일링 법칙 (Scaling Law)에 대한 의구심이 커지면서, 커뮤니티는 테스트 시간 훈련/적응 (Test-time training/adaptation)으로 눈을 돌리고 있습니다. 대규모 모델 학습에 사용될 데이터가 실제로 고갈되고 있기 때문입니다.
   • 하지만 사람들은 **기존 모델의 가중치 (Weights)**를 활용하지 않고 있습니다. 모든 이의 연산력이 응축된 지식이 낭비되고 있는 것입니다.
   • 원격 탐사 분야 조사에 따르면 이미 70개의 파운데이션 모델이 존재하며, 여전히 많은 팀이 71번째, 72번째 모델을 학습시키고 있습니다. 그럴 바에는 기존의 모든 지식을 하나의 가중치 공간 표현 (Weight Space Representation)으로 압축한 뒤, 필요에 따라 샘플링하는 것이 훨씬 효율적입니다.

5. "파운데이션 모델 = 거대 모델"이라는 결합의 돌파:
   현재의 파운데이션 모델 패러다임 하에서 사용자가 엣지 디바이스 (Edge Device)에서 작업을 수행하려면, 여전히 8억~9억 개의 파라미터를 가진 ViT를 강제로 사용해야 하며 이는 계산 부담이 매우 큽니다. 반면 가중치 공간 방법은 ResNet, EfficientNet 등 다양한 아키텍처를 필요에 따라 샘플링할 수 있습니다. 즉, 사용자가 아키텍처를 지정하면 기계가 해당 아키텍처에 맞는 파라미터를 생성합니다. 이는 일종의 압축 기술이기도 합니다. 생성된 소형 모델은 "기존 모델을 스승으로 삼아 지식 증류 (Knowledge Distillation)를 수행하여" 얻은 소형 모델보다 더 뛰어난 성능을 보입니다.

제(8)부 데이터셋이 곧 프롬프트: 프라이버시를 보존하는 온디맨드 모델 생성 (80% - 90%)

1. 마지막 퍼즐 조각 — "모델 프롬프트"로부터의 탈피: 현재 샘플링에는 프롬프트로서 하나의 모델(앵커)이 필요합니다. 만약 데이터셋 자체를 프롬프트로 사용할 수 있다면 — "이 데이터셋에서 잘 작동하는 모델을 하나 줘"라고 요청할 수 있다면 — Hugging Face에 올라와 있지 않은 모든 비공개 데이터셋의 활용 가능성이 완전히 열리게 됩니다.

2. CLIP 스타일의 정렬 공간 (Alignment Space) 구상: 팀은 이미 모델 동물원 (Model Zoo, 모델과 데이터셋의 쌍)을 보유하고 있습니다. 이는 CLIP이 텍스트와 이미지를 정렬하는 것과 유사하게, "데이터셋 인코더"와 "모델/가중치 생성기"를 정렬하여 학습할 수 있음을 의미합니다. 사용자 측면에서는 은행이나 의료 기관 등이 자신의 데이터셋 (예: 100개 또는 1,000개의 샘플)을 사용하여 **데이터셋 임베딩 (Dataset Embedding)**을 생성할 수 있으며, 개별 샘플은 역추적될 수 없습니다.

3. 프라이버시 보존의 천연 속성:

   • 사용자는 집계된 임베딩 벡터만 제공하면 되므로, 어떠한 개별 샘플도 유출되지 않습니다.
   • 멤버십 추론 공격 (Membership Attack)을 방어하기 위해 노이즈 추가가 필요할 수 있지만, 원칙적으로 기관은 규정을 준수하는 범위 내에서 이를 사용할 수 있습니다.
   • 독일 연방은행 (Deutsche Bundesbank)의 외부 박사 과정 프로젝트가 바로 이 기술에 의해 추진되고 있습니다. 중앙은행 데이터는 법적으로 공유할 수 없지만, 임베딩 벡터는 사용할 수 있기 때문입니다.

4. 잠재 공간 (Latent Space)이 "양호한(well-behaved)" 상태인지 검증하기: 만약 어떤 데이터셋이 Hugging Face에 등장한 적도 없고, 그 데이터셋으로 학습된 모델도 전혀 없다면, 해당 데이터셋 프롬프트가 기존 네트워크들 사이에 존재하는 의미 있는 새로운 네트워크를 생성할 수 있을까요? 만약 가능하다면, 학습된 잠재 공간이 훌륭한 보간 (Interpolation) 특성을 갖추고 있음을 의미하며, 이는 최소한의 혹은 전이 학습(Pre-training) 없이도 신경망을 생성할 수 있음을 뜻합니다. 즉, 순방향 전파 (Forward Propagation) 과정에서 온디맨드 초개인화(Hyper-personalization)를 구현할 수 있습니다.

5. 신경망 구조 탐색 (NAS)와의 관계 — 대체가 아닌 상호 보완:

   • NAS는 구조를 정의하고, 가중치 공간 학습은 해당 구조에 적합한 "최적의 가중치"를 제공합니다.
   • 사용자가 "ResNet-18을 원함" 또는 "Transformer를 원함"이라고 입력하면, 기계가 그에 맞는 가중치를 생성합니다.
   • 현재 데이터셋 프롬프트를 사용할 경우 여전히 외부 신호가 아키텍처를 지정해야 하며, 모델 프롬프트를 사용할 경우 아키텍처는 이미 앵커에 의해 결정되어 있습니다.
   • 더 스마트한 다음 단계는 아키텍처 요소를 이해하는 토크나이저 (Tokenizer)를 구축하여, 디코더가 조건부로 아키텍처를 생성하게 만드는 것입니다. 싱가포르의 Kawwang 팀과 Kaiser 팀은 이미 확산 모델 (Diffusion Model)과 조건부 신호 (데이터셋 신호 + 아키텍처 신호)를 결합하는 방향으로 연구를 진행하고 있습니다.

생성 메커니즘의 세부 사항:

- 현재 생성되는 것은 **가중치 시퀀스 (weight sequence)**이며, 각 토큰 (token)은 위치 인코딩 (positional encoding)을 통해 자신이 어느 레이어 (layer), 어느 블록 (block)의 어느 절대적 위치에 있는지 인지합니다.
- 시퀀스가 생성된 후에는 목표 아키텍처 (architecture) 내의 무작위 초기화된 가중치를 **전체적으로 덮어쓰기 (overwrite)**하며, 기술적으로는 체크포인트 (checkpoint)를 직접 로드하면 됩니다.
- 저렴한 비용의 순전파 (forward propagation)를 통해 모델 앙상블 (ensemble)을 한 번에 생성할 수 있어, 새로운 자유도를 개척할 수 있습니다.
- 아직 명확한 "가중치 환각 (weight hallucination)" 아티팩트(예: 특정 위치에 두 개의 가중치가 생성되거나 다른 위치에 가중치가 0이 되는 현상)는 관찰되지 않았으나, 이론적으로는 존재 가능합니다. 따라서 조건부 디코더 (conditional decoder)를 통해 생성 품질을 개선하고 필요한 미세 조정 (fine-tuning) 단계를 줄여나갈 필요가 있습니다.

7. 태스크 벡터 (task vector) 관점의 보충: 미세 조정된 모델과 베이스 모델 (base model)의 차이를 구하면 태스크 벡터를 얻을 수 있으며, 이를 통해 태스크 산술 (task arithmetic)이 가능합니다. 실증적 발견에 따르면, 어떤 시나리오에서는 태스크 벡터가 전체 가중치보다 학습 및 생성하기 더 쉬운 반면, 다른 시나리오에서는 전체 가중치가 더 쉬운 경우가 있습니다. 이 현상에 대해서는 현재 이론적 설명이 부족한 상태입니다.

제(9)부 개방형 문제, 커뮤니티 구축 및 연구 전망 (90% - 100%)

1. 주파수 영역 처리(frequency domain processing)에 대한 가설: 진행자는 가중치 내의 고주파/저주파 노이즈를 언급하며, 가중치에 FFT (Fast Fourier Transform) 변환을 적용하여 주파수 영역에서 처리하는 방식을 떠올렸습니다. Borth는 자신이 알기로 현재 그렇게 하는 사람은 없지만, 이는 흥미로운 방향이라고 답했습니다. 이는 이미지 영역에서 먼저 VAE로 재구성한 뒤 GAN을 사용하여 고주파 정보를 강제하는 방식과 유사합니다. 가중치를 다른 영역으로 옮겨 처리하거나, 대량의 전처리를 거친 후 잠재 표현 (latent representation)을 학습하는 것 모두 개방형 문제입니다.

2. 가중치 공간 학습 (WSL)의 인접 프런티어 (frontiers):

   • Haggai Maron 등은 가중치 공간 학습의 아이디어를 **그래디언트 공간 (gradient space), 활성화 공간 (activation space)**에 적용하여 "표현 공학 (representation engineering)"을 수행하고 있습니다.
   • Yediia 등은 **신경망 프로빙 (neural network probing)**을 수행합니다. 이는 방문하는 네트워크의 가중치를 직접 보는 대신, 입출력 관계를 제어하여 네트워크의 동작을 탐지하는 방식입니다.
   • Anthropic 또한 유사한 방향의 탐색을 진행하고 있습니다.
   • 이 모든 연구의 공통점은 훈련 결과물(가중치, 그래디언트, 활성화 값)을 작업 집합 (artifact set)으로 보고, 이를 통해 성질을 예측하거나 동작을 조작, 편집, 수정하기 위한 표현을 학습한다는 것입니다.

3. 워크숍 및 커뮤니티 구축:

   • 2024년 ICML에서 동료들이 "가중치 대칭성 (weight symmetries)"에 관한 워크숍을 조직했습니다.
   • Borth 팀은 2025년에 첫 번째 전용 워크숍을 개최했습니다.
   • 현재의 과제: 초기 박사 과정(PhD) 연구원들이 차례로 졸업하고 새로운 박사 과정 연구원들이 유입되는 과정에서 시간적 간극(window period)이 발생하여 커뮤니티에 미세한 단절이 나타나고 있습니다.
   • 다음 단계의 중점 사항은 각자의 탐색 자유도를 유지하면서도 응집력 있는 (coherent) 커뮤니티의 힘을 형성할 수 있는 **공통 언어 및 공통 벤치마킹 (benchmarking)**을 구축하는 것입니다.

4. 결론 및 전망: 진행자는 본 에피소드가 고품질 훈련 데이터의 희소성에서 출발했음을 요약하며, Borth는 우리가 이미 훈련된 모델이라는 중요한 지식원을 간과해 왔음을 논증했습니다. 가중치 공간 학습은 "조롱받던 생소한 분야"에서 "원격 탐사 분야의 연산량을 20~30배 절감하는 기술"을 거쳐, 이제는 "데이터셋 프롬프트에 따른 개인정보 보호형 온디맨드 생성" 단계로 나아가고 있습니다. Borth는 마지막에 "3년 뒤에 우리가 어디에 있을지 지켜봅시다"라고 소회를 밝혔습니다. 미래를 향해, 신경망의 파운데이션 모델 (foundation model), 아키텍처와 도메인을 넘나드는 지식 전이 (knowledge transfer), 그리고 계속 증가하는 데이터셋을 대신하여 모델 앙상블을 사용하여 미래 AI 시스템을 훈련하는 방식은 여전히 광활하고 충분히 개척되지 않은 영역으로 남아 있습니다.