Self-Attention의 거울에 비친 PLS
요약
본 논문은 부분 최소 제곱(PLS)을 선형화된 Self-Attention 메커니즘으로 투영하여 분석합니다. 이를 통해 PLS의 차원 축소 및 변수 선택 과정이 Self-Attention의 차원 정규화 방식과 유사할 수 있음을 시사합니다.
핵심 포인트
- PLS를 선형화된 Self-Attention 프레임워크로 투영하여 연구
- Self-Attention 내의 차원 정규화 특성 분석
- PLS의 차원 축소와 Self-Attention의 상관관계 제시
Computer Science > Machine Learning
Title: Self-Attention의 거울에 비친 PLS
View PDF HTML (experimental)초록: 본 노트는 부분 최소 제곱 (Partial Least Square, PLS)을 선형화된 Self-Attention (Self-Attention)으로 투영함으로써, PLS를 신경망 (Neural Network) 패러다임 내에서 연구할 수 있는 흥미로운 관찰을 제공합니다. 반면에, PLS에서의 차원 축소 (Dimensionality Reduction) 및 예측 변수 선택 (Selection of Predictors)은 Self-Attention이 학습 개선을 향한 특정 수준의 차원 정규화 (Dimensionality Normalization)를 포함하고 있음을 시사할 수 있습니다.
Bibliographic and Citation Tools
Code, Data and Media Associated with this Article
Demos
Recommenders and Search Tools
arXivLabs: community collaborators와 함께하는 실험적 프로젝트
arXivLabs는 협력자들이 우리 웹사이트에서 직접 새로운 arXiv 기능을 개발하고 공유할 수 있도록 하는 프레임워크입니다.
arXivLabs와 함께 활동하는 개인 및 조직은 개방성, 커뮤니티, 탁월함, 그리고 사용자 데이터 프라이버시라는 우리의 가치를 수용하고 받아들였습니다. arXiv는 이러한 가치에 전념하고 있으며, 이를 준수하는 파트너와만 협력합니다.
arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있습니까? arXivLabs에 대해 더 알아보기.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기