추론 전용 배포를 넘어: 가중치 기반 통합과 계층적 압축의 비교

주요 LLM 플랫폼들은 모델이 요청을 처리할 뿐 사용자별 가중치(weights)를 업데이트하지 않는 추론 전용(inference-only) 구성으로 모델을 배포합니다. 사용자는 선호도, 수정 사항, 프로젝트 컨텍스트를 반복해서 다시 가르쳐야 하며, 컨텍스트 기반의 임시방편은 컨텍스트 창(context-window) 공간을 소비하고 계층적 압축(cascading compaction) 하에서 성능이 저하됩니다. 우리는 대안을 평가합니다: 성찰(reflection), 합성(synthesis), 그리고 단일 소비자용 GPU에서의 저차원 적응(LoRA) 미세 조정(fine-tuning)을 통해 상호작용 지식을 모델 가중치로 매일 밤 통합(consolidation)하는 방식입니다. 10개의 현실적인 소프트웨어 개발 대화(n = 10, 세 가지 메모리 유형에 걸친 1,146개의 테스트 질문)를 대상으로 실험한 결과, 3회의 계층적 압축 사이클은 지식의 36.8 +/- 3.0%를 유지하는 반면(컨텍스트가 없는 11.8% 하한과 전체 컨텍스트가 있는 90.1% 상한 사이), 통합 방식은 80.4 +/- 1.3%를 유지했습니다. 이는 43.6%p의 이득(paired t(9) = 14.8, p < 0.001)이며, 압축 방식이 보존하는 양보다 두 배 이상 높습니다. 가장 큰 이득은 절차적 수정(procedural corrections, 36.3% -> 74.6%)과 에피소드적 프로젝트 사실(episodic project facts, 31.5% -> 78.2%)에서 나타났습니다. 방법론적인 부연 설명을 하자면, 토큰당 평균 검증 교차 엔트로피(mean per-token validation cross-entropy)는 LLM이 판단한 정확도와 음의 상관관계(r = -0.51)를 보이는 반면, 토큰당 중앙값 검증 교차 엔트로피(median per-token validation cross-entropy)는 정확도를 거의 정확하게 추적합니다(r = +0.99). 즉, 표면 형태의 변화를 허용하는 평가자 환경에서는 평균값이 오해를 불러일으킬 수 있으며, 헤비 테일(heavy-tail)에 강건한 통계량이 충실한 신호가 됩니다. 지속적인 개인화를 위해서는 추론 전용 배포를 넘어 지식을 가중치로 통합하는 아키텍처로 나아가야 합니다.