추천 시스템 관점의 컨텍스트 엔지니어링: 진화적 협업 필터링을 통한 최적의 컨텍스트 매칭

대규모 언어 모델 (LLMs)은 입력 컨텍스트 (input contexts)에 매우 민감하며, 이는 자동화된 컨텍스트 엔지니어링 (context engineering) 개발의 동기가 되었습니다. 그러나 기존 방법들은 주로 이를 데이터셋 전체의 평균 성능을 극대화하는 단일 컨텍스트 전략을 찾는 전역적 탐색 (global search) 문제로 취급합니다. 이러한 제한적인 가정은 서로 다른 입력값들이 종종 각기 다른 가이드를 필요로 한다는 사실을 간과하며, 결과적으로 인스턴스 수준 (instance-level)에서 얻을 수 있는 상당한 성능 향상의 기회를 놓치게 만듭니다.

본 논문에서 우리는 컨텍스트 엔지니어링을 추천 문제 (recommendation problem)로 공식화함으로써 패러다임의 전환을 제안합니다. 우리는 최적화 과정을 정적인 전역 탐색에서 동적인 인스턴스별 라우팅 (instance-wise routing)으로 전환하는 프레임워크인 extbf{Neural Collaborative Context Engineering (NCCE)}를 소개합니다. NCCE는 먼저 앵커 컨텍스트 (anchor contexts)의 다양한 카탈로그를 부트스트래핑 (bootstraps)한 다음, 새로운 extbf{Context-CF Co-Evolution} 메커니즘을 채택합니다. 이 단계는 시너지 효과를 내는 피드백 루프를 구축합니다. 경량화된 신경 협업 필터링 (Neural Collaborative Filtering, NCF) 모델은 인스턴스-컨텍스트 선호도를 학습하여 특화된 컨텍스트 변형 (context variants)의 생성을 유도하며, 새로 평가된 컨텍스트들은 잠재적 선호도 (latent preferences)에 대한 NCF 모델의 이해를 지속적으로 정교화합니다. 추론 (inference) 시점에 학습된 NCF 모델은 컨텍스트 라우터 (context router) 역할을 수행하여, 보지 못한 각 인스턴스에 가장 적합한 컨텍스트 전략을 동적으로 할당합니다.

이론적 증명과 포괄적인 실험을 통해, 개별 입력을 최적의 컨텍스트와 매칭함으로써 NCCE가 작업 정확도 (task accuracy)를 크게 향상시킨다는 것을 입증하였으며, 이는 LLM 컨텍스트 엔지니어링에서 개인화 (personalization)의 결정적인 중요성을 강조합니다.