Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
WeightCLIP은 신경망 가중치와 데이터셋 정보를 정렬하여 가중치 공간 표현을 학습하는 새로운 방법론을 제안합니다. 대조 학습을 통해 데이터셋 특성이 반영된 잠재 공간을 구축하며, 이를 통해 검색, 생성, 정제 등 다양한 다운스트림 태스크에서 뛰어난 성능을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기가중치 공간 학습 (Weight space learning)은 신경망 (NN) 가중치의 표현 (representations)을 학습하여 다양한 다운스트림 태스크 (downstream tasks)를 가능하게 하는 것을 목표로 합니다. 기존의 접근 방식들은 유망한 성능을 보여주지만, 모델이 학습된 데이터셋에 대한 정보를 사용하여 이러한 가중치 공간 표현을 형성하는 방법이 부족하여 다운스트림 응용 분야가 제한적입니다. 우리는 학습 과정 중에 데이터셋 정보가 유도되는, 신경망을 위한 데이터셋 정렬 잠재 공간 (dataset-aligned latent space)을 학습하는 방법인 WeightCLIP을 제안합니다. 신경망 (NNs)은 오토인코더 (autoencoder)를 사용하여 잠재 표현 (latent representations)으로 인코딩되는 반면, 데이터셋 샘플은 데이터셋 인코더 (dataset encoder)를 사용하여 인코딩됩니다. 이 두 표현은 대조 목적 함수 (contrastive objective)를 사용하여 정렬되며, 데이터셋에 따라 가중치 공간 표현을 효과적으로 재형성합니다. 우리는 이러한 표현이 데이터셋 정보를 강력한 모델로 디코딩되는 가중치 공간 표현으로 매핑하는 것을 포함하여, 다양한 다운스트림 태스크에 사용될 수 있음을 입증합니다. 또한, 표준 미세 조정 (fine-tuning)보다 뛰어난 성능을 보이는 모델을 생성하기 위한 잠재 정제 과정 (latent refinement process)을 도입합니다. 전반적으로, 우리의 결과는 데이터셋 정보를 명시적으로 통합하는 것이 검색 (retrieval), 생성 (generation), 정제 (refinement) 전반에 걸쳐 가중치 공간 표현으로 달성할 수 있는 성과를 향상시킨다는 것을 보여줍니다. 코드는 https://github.com/HSG-AIML/WeightCLIP 에서 확인할 수 있습니다.