입장 표명: 가중치 공간 (Weight Space)은 생성형 AI의 일급 데이터 모달리티 (First-Class Modality)가 되어야 한다

요약

본 논문은 신경망 체크포인트를 단순한 결과물이 아닌, 지식이 인코딩된 '일급 데이터 모달리티'로 취급해야 한다고 주장합니다. 가중치 공간에서의 생성 모델링을 통해 파인튜닝 비용을 획기적으로 절감하고, 모델을 최적화하는 대신 가중치 분포에서 샘플링하는 새로운 패러다임으로의 전환을 제안합니다.

핵심 포인트

• 신경망 가중치는 작업, 도메인, 아키텍처 특화 지식을 담고 있는 대규모 데이터 자원임
• 가중치 공간에서의 생성 모델링은 파인튜닝 대비 적응 비용을 수십 배 이상 절감할 수 있음
• 고성능 모델들은 가중치 공간 내의 저차원적이고 구조화된 영역을 점유하는 특성을 보임
• 기존의 '작업별 모델 최적화' 방식에서 '학습된 가중치 분포로부터의 모델 샘플링'으로의 패러다임 전환 필요
• 어댑터 규모의 기술은 발전 중이나, 프런티어 규모의 체크포인트 합성은 여전히 해결 과제로 남아 있음