Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
PolySim은 CiM(Compute-in-Memory) 하드웨어에서 확률적 임베딩을 효율적으로 처리하기 위한 결정론적 다항식 대리 모델 프레임워크입니다. 몬테카를로 샘플링 대신 저차 다항식 기저를 사용하여 확률적 정보를 보존하면서도 단일 행렬-벡터 곱셈으로 추론이 가능하게 합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기엣지 디바이스에서의 교차 모달 검색 (Cross-modal retrieval)은 의미론적 불확실성을 포착하는 확률적 임베딩 (probabilistic embeddings)을 통해 이점을 얻지만, 이를 컴퓨팅 인 메모리 (Compute-in-Memory, CiM) 하드웨어에 배포하는 것은 여전히 미해결 과제로 남아 있습니다. 핵심적인 어려움은 샘플링 격차 (sampling gap)에 있습니다. PCME와 같은 확률적 방법들은 추론 시 몬테카를로 샘플링 (Monte Carlo sampling) 및 비선형 거리 평가 (nonlinear distance evaluation)에 의존하는데, 이는 결정론적이고 단일 단계의 행렬-벡터 곱셈 (matrix-vector multiplication)만을 지원하는 CiM 크로스바 어레이 (crossbar arrays)와 근본적으로 호환되지 않습니다. 기존의 확률적 검색 방법 중 일반적인 크로스바에서 실행 가능한 방법은 거의 없습니다. 이 격차를 해소하기 위해, 우리는 확률적 검색을 완전히 결정론적인 파이프라인으로 재구성하는 프레임워크인 PolySim을 제안합니다. PolySim은 저차 다항식 기저 (low-order polynomial bases)를 사용하여 각 가우시안 임베딩 (Gaussian embedding) 차원을 근사하고, 학습 가능한 차수-쌍선형 커널 (order-bilinear kernel)을 통해 유사도를 계산함으로써 분포 정보 (distributional information)를 보존하는 동시에 확률적 샘플링 (stochastic sampling)을 제거합니다. 비디오, 이미지 및 오디오 검색을 아우르는 6개의 벤치마크 실험에서 PolySim은 결정론적 베이스라인 (deterministic baselines) 대비 R@1을 최대 10.3% 향상시켰으며, PCME와 대등하거나 이를 능가하는 성능을 보이면서도 추론 과정을 크로스바와 호환 가능한 단일 행렬-벡터 곱셈으로 축소했습니다. 실제 디바이스의 비이상성 (non-idealities) 환경에서의 CrossSim 평가를 통해 기존 크로스바 어레이에서의 견고한 배포를 확인했습니다. 우리가 알고 있는 바로는, PolySim은 CiM 하드웨어에서 확률적 교차 모달 검색을 가능하게 하는 최초의 방법입니다.