대규모 모델을 위한 토큰 연산 중심의 추론 최적화 기술

대규모 모델 추론 최적화 (Inference Optimization)는 대규모 모델 서비스의 확장 가능하고, 저비용이며, 높은 안정성을 갖춘 운영을 지원하는 핵심 기반 역할을 합니다. 본 논문은 토큰 중심의 추론 최적화 기술을 중심으로, 다중 모델 융합 (Multi-model Fusion), 모델 최적화 (Model Optimization), 컴퓨팅-모델 융합 (Compute-Model Fusion), 그리고 컴퓨팅-네트워크-모델 융합 (Compute-Network-Model Fusion)으로 구성된 4계층 기술 아키텍처를 최초로 제안합니다. 본 논문은 이 네 가지 수준에 걸친 핵심 기술과 현재의 산업 현황을 체계적으로 검토하며, 실제 비즈니스 시나리오에서 관련 기술의 응용 가치를 분석합니다. 본 논문은 토큰 생성 비용을 절감하고, 토큰 서비스 효율을 개선하며, 토큰 공급의 안정성을 보장하고, 대규모 모델 서비스가 단순히 호출 가능한 수준을 넘어 운영 가능한 수준으로 전환되도록 이끄는 실질적인 기술 경로를 제공합니다.