기하학 인식 하이퍼볼릭 잔차 양자화

잔차 벡터 양자화(Residual Vector Quantization)는 연속적인 표현을 이산적이고 다단계의 토큰 시퀀스로 변환합니다. 하지만 대부분의 방법은 결과 코드의 거친-세밀한 구조와 많은 데이터 도메인에 존재하는 잠재 계층 구조에도 불구하고 유클리드 공간에서 작동합니다. 하이퍼볼릭 기하학(Hyperbolic geometry)은 계층적 표현을 위한 자연스러운 대안을 제공하지만, 단순한 하이퍼볼릭 확장 방식들은 다음과 같은 기하학적 불일치를 야기합니다: 비결합적인 하이퍼볼릭 덧셈(non-associative hyperbolic addition)은 일관된 잔차 집계를 방해하며, 표준 직선 통과 기울기 추정(straight-through gradient estimation)은 잠재 공간의 기하학을 무시합니다. 본 논문에서는 이러한 문제들을 순전파(forward pass)와 역전파(backward pass) 모두에서 해결하는 기하학 인식 하이퍼볼릭 잔차 양자화 방식을 제안합니다. 순전파에서는 하이퍼볼릭 잔차 집계(Hyperbolic Residual Aggregation)를 통해 Poincare ball 상에서의 잔차 양자화의 망원경식 거동(telescoping behavior)을 복원합니다. 역전파에서는 할인된 하이퍼볼릭 직선 통과 추정기(discounted Hyperbolic Straight-Through Estimator)가 재구성 기울기를 단일 기하학적 블록으로 양자화기(quantizer)를 통해 전달하여, 잔차 단계 전반에 걸친 불안정한 재귀적 기울기 전달을 방지합니다. 계층적 예측, 추천, 이미지 토큰화 및 신경 오디오 코딩 작업에 대한 평가 결과, 본 방법이 단순한 하이퍼볼릭 기준선(naive hyperbolic baselines) 대비 하이퍼볼릭 잔차 코드의 안정성과 구조적 조직화를 개선함을 보여줍니다. 동시에, 우리는 명확한 구조-압축 트레이드오프를 관찰합니다: 순수 압축에는 유클리드 잔차 양자화가 여전히 선호되는 반면, 기하학 인식 하이퍼볼릭 양자화는 계층적으로 조직된 이산 잠재 공간에 가장 유용합니다.