트랜스포머 기반 언어 모델을 위한 그래프 메타네트워크

요약

본 논문은 트랜스포머 기반 언어 모델의 가중치 공간 학습에 대한 그래프 메타네트워크 접근 방식을 제안합니다. 기존 연구가 포착하지 못했던 어텐션 메커니즘의 복잡한 대칭성(일반 선형 대칭성, 헤드 순열 등)을 고려하여, 완전한 디코더 전용 모델의 가중치 공간 대칭군에 불변하는 그래프 구성을 제시합니다. 이를 통해 새로운 태스크를 위한 두 가지 트랜스포머 집단 데이터셋도 소개했습니다.

핵심 포인트

• 트랜스포머 가중치 학습을 위해 그래프 메타네트워크 접근 방식을 제안함.
• 어텐션 메커니즘의 복잡한 대칭성(일반 선형, 헤드 순열)을 포괄적으로 다룸.
• 디코더 전용 언어 모델의 가중치 공간 대칭군에 불변하는 그래프 구성을 제공함.
• 새로운 트레이너 코퍼스 예측 및 파인튜닝 탐지 태스크를 위한 데이터셋을 소개함.