입장 표명: 가중치 공간 (Weight Space)은 생성형 AI의 일급 데이터 모달리티 (First-Class Modality)가 되어야 한다

신경망 체크포인트 (Neural network checkpoints)는 조용히 대규모 데이터 자원이 되었습니다. 이제 수백만 개의 학습된 가중치 벡터 (weight vectors)가 존재하며, 각 벡터는 작업 (task), 도메인 (domain), 그리고 아키텍처 (architecture) 특화된 지식을 인코딩하고 있습니다. 본 입장 표명 논문 (position paper)은 모델 체크포인트를 일급 데이터 모달리티 (first-class data modality)로 취급해야 하며, 가중치 공간 (weight space)에서의 생성 모델링 (generative modeling)이 핵심 머신러닝 프리미티브 (machine learning primitive)로서 표준화되어야 한다고 주장합니다. 최근의 발전은 신경망 가중치 (neural weights)가 필요에 따라 합성될 수 있음을 보여주며, 이는 종종 파인튜닝 (fine-tuning) 성능과 일치하면서도 적응 비용 (adaptation cost)을 수십 배 이상 절감합니다. 우리는 이러한 결과가 근본적인 구조적 사실을 반영한다고 주장합니다. 즉, 고성능 모델들은 대칭성 (symmetry), 평탄도 (flatness), 모듈성 (modularity), 그리고 공유된 부분 공간 (shared subspaces)에 의해 형성된 가중치 공간 내의 저차원적이고 고도로 구조화된 영역을 점유한다는 것입니다. 이러한 관점을 바탕으로, 우리는 기존 방법론들을 5단계 파이프라인으로 정리하고, 이 접근 방식이 이미 실용적으로 적용되고 있는 응용 분야를 조사하며, 현재의 한계를 명확히 합니다. 어댑터 규모 (adapter-scale) 및 조건부 생성 (conditional generation)은 빠르게 발전하고 있는 반면, 제한 없는 프런티어 규모 (frontier-scale)의 체크포인트 합성은 여전히 해결해야 할 과제로 남아 있습니다. 우리의 목표는 커뮤니티의 기본 사고방식을 '작업별 모델 최적화'에서 '학습된 가중치 분포로부터 모델 샘플링'으로 전환하여, AI 시스템이 일상적으로 다른 AI 시스템을 개선하거나 생성하는 시대로 나아가는 것을 가속화하는 것입니다.