비용 제약 조건을 리만 다양체로 보는 것

N 개의 그룹 각각에 K 가지 옵션 중 하나를 할당하고 총 비용 예산을 준수하는 것은 머신러닝에서 재발생하는 문제로, 혼합 정밀도 양자화 (mixed-precision quantization), 비균일 절단 (non-uniform pruning), 전문가 선택 (expert selection) 등 다양한 분야에서 나타납니다. 목표 (모델 손실) 는 모든 할당에 대해 공동으로 의존하며 그룹 간에 분해되지 않아 조합적 솔버가 진정한 목표를 직접 최적화하지 못하게 하고 대리 목표를 최적화에 제한합니다. 진화 탐색 (evolutionary search) 은 실제 손실을 평가하지만 기울기 정보를 갖지 않으며, 벌칙 기반 방법 (penalty-based methods) 은 기울기를 제공하지만 예산을 근사적으로만 강제하며 민감한 하이퍼파라미터 튜닝이 필요합니다. 우리는 소프트맥스 완화 (softmax relaxation) 하에서 비용 제약 조건이 로짓 공간에 매끄러운 리만 다양체 (Riemannian manifold) 를 정의하며 특히 간단한 기하학을 가진다는 것을 관찰했습니다: 법선 벡터는 폐쇄형으로 이용 가능하고, 로짓을 비용 벡터 방향으로 이동시키면 기대 비용을 단조롭게 변화시키고, 이진 검색 재traction 을 허용하며, 벡터 운송은 단일 내적 (inner product) 으로 단순화됩니다. 이러한 구조를 바탕으로 우리는 표준 Adam 업데이트에 접선 투영 (tangent projection), 이진 검색 재traction, 모멘텀 운송 (momentum transport) 을 추가한 리만 제약 최적화 (Riemannian Constrained Optimization, RCO) 를 제안합니다. Gumbel 직통 추정 (Gumbel straight-through estimation) 과 예산 제약 동적 프로그래밍 (budget-constrained dynamic programming) 을 결합하여 이산 실현 가능성과 함께, RCO 는 정확한 예산 강제 하에 진정한 목표를 1 차 최적화 (first-order optimization) 를 가능하게 하며 제약 조건 하이퍼파라미터를 도입하지 않습니다. 알려진 최적 해가 있는 합성 knapsack 문제에서 다양체 기반 제약 조치는 최적 해를 복원하며 벌칙 방법은 최적의 83% 에서 평평해집니다. LLM 압축 작업, 혼합 정밀도 양자화 및 MoE 전문가 절단 포함에서 RCO 는 진화 탐색 방법과 일치하거나 초과하며 평가된 구성에서 3 배에서 16 배 낮은 벽 시계 비용 (wall-clock cost) 을 요구합니다.