다른 레이어, 다른 다양체: 트랜스포머 최적화에서의 모듈별 가중치 공간 기하학

요약

본 연구는 트랜스포머의 가중치 공간 기하학에서 모듈별 다양체 제약 조건의 비대칭성을 탐구했습니다. 어텐션 블록에는 Stiefel 기하학, MLP 블록에는 DGram 기하학을 할당하는 것이 가장 좋은 성능을 보였습니다. 이는 트랜스포머 최적화가 균일하지 않고 모듈별로 이루어져야 함을 시사합니다.

핵심 포인트

• 어텐션 레이어와 MLP 레이어는 서로 다른 다양체 제약 조건을 선호한다.
• Stiefel 기하학(Attention)과 DGram 기하학(MLP)의 조합이 최적 성능을 보였다.
• 모듈별로 특화된 기하학 인식 최적화가 필요하다.
• 균일한 가중치 공간 제약 조건은 불안정성을 야기할 수 있다.