nD-RoPE: n차원 위치 임베딩을 위한 일반화된 RoPE
요약
본 논문은 트랜스포머 모델의 위치 임베딩인 RoPE가 고차원으로 확장될 때 발생하는 이론적 한계를 지적합니다. 이를 해결하기 위해, 분해 과정이 필요 없는 nD-RoPE를 제안하며, 연속 힐베르트 공간의 스펙트럼 조건을 활용했습니다. 이 방법은 이미지, 비디오 등 다양한 고차원 데이터에서 일관된 성능 향상과 개선된 일반화 능력을 보여주었습니다.
핵심 포인트
- RoPE는 트랜스포머 모델에 널리 쓰이나, 고차원 확장에 이론적 공식이 부족함.
- nD-RoPE는 분해 과정 없이 임의의 차원으로 RoPE를 일반화한 새로운 방법론을 제시함.
- 힐베르트 공간의 스펙트럼 조건을 활용하여 등방성을 확보하고 방향 균형을 개선함.
- 이미지, 비디오, 포인트 클라우드 등 고차원 데이터에서 성능 향상을 입증함.
회전 위치 임베딩(Rotary Position Embedding, RoPE)은 트랜스포머 모델에서 널리 채택되고 있지만, 고차원 영역으로의 확장에 대한 통일된 이론적 공식이 부족합니다. 기존 접근 방식 대부분은 각 축을 따라 독립적으로 회전을 적용하거나 주파수를 경험적으로 혼합하는 방식을 사용하며, 이는 차원 간 상호작용을 제한하고 방향에 의존적인 표현을 초래합니다. 이러한 한계를 해결하기 위해, 우리는 임의의 차원으로 RoPE를 일반화한 분해(decomposition)가 필요 없는 nD-RoPE를 제안합니다. 연속 힐베르트 공간에서의 병진 불변 공식으로부터, 우리는 위치와 주파수를 결합된 $n$차원 벡터로 취급해야 하는 등방성(isotropy)에 대한 스펙트럼 조건을 도출합니다. 이 공식을 다중 스케일 정규 심플렉스 파동 벡터 설계로 구현하여, 퇴화되지 않은 공간 커버리지와 대칭적이고 방향적으로 균형 잡힌 2차 응답을 제공합니다. 이미지, 비디오, 포인트 클라우드 전반에 걸친 실험은 고차원 설정에서 일관된 성능 향상과 개선된 일반화를 입증합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기