효율성 경계(The Efficiency Frontier): LLM 컨텍스트 관리의 비용-성능 최적화를 위한 통합 프레임워크

대규모 언어 모델 (LLMs)은 점점 더 긴 컨텍스트 처리 (long-context processing)에 의존하고 있지만, 컨텍스트 창 (context windows)을 확장하는 것은 상당한 계산 및 재정적 비용을 초래합니다. 검색 (retrieval) 및 메모리 압축 (memory compression) 방법을 포함한 기존의 컨텍스트 축소 접근 방식은 일반적으로 성능과 효율성 지표를 독립적으로 사용하여 평가되므로, 체계적인 비교와 배포를 고려한 의사결정을 제한합니다. 본 논문은 LLM 컨텍스트 관리에서 비용-성능 최적화를 위한 통합 프레임워크인 '효율성 경계 (The Efficiency Frontier)'를 소개합니다. 이 프레임워크는 컨텍스트 전략 선택을 작업 성능 (task performance), 토큰 비용 (token cost), 그리고 분할 상환 비용 모델링 (amortized cost modeling)을 통한 전처리 재사용 (preprocessing reuse)을 공동으로 고려하는 배포 인식 최적화 문제 (deployment-aware optimization problem)로 모델링합니다. 개별적으로 방법을 비교하는 기존 평가와 달리, 제안된 프레임워크는 다양한 운영 조건 하에서 서로 다른 컨텍스트 관리 전략이 언제 더 선호되는지에 대한 의사결정 중심의 분석을 가능하게 합니다. 5,000개의 HotpotQA 인스턴스에서 평가한 결과, 이 프레임워크는 검색 기반 (retrieval-based) 전략과 전처리 기반 (preprocessing-based) 전략 사이의 뚜렷한 운영 영역 (operational regimes)과 전환 경계 (transition boundaries)를 밝혀냈습니다. 결과에 따르면, 배포 인식 최적화는 유사한 성능 ($F1 ≈ 0.78$)에서 유효 토큰 사용량을 약 25% 줄이는 반면, 분할 상환 메모리 압축 (amortized memory compression)은 더 높은 성능 설정에서 전체 컨텍스트 프롬프팅 (full-context prompting) 대비 토큰 비용을 50% 이상 낮추는 것으로 나타났습니다. 전반적으로, 제안된 프레임워크는 확장 가능하고 효율적이며 지속 가능한 LLM 시스템을 평가하고 배포하기 위한 원칙적이고 실용적인 토대를 제공합니다.