추론 전용 배포를 넘어: 가중치 기반 통합과 계층적 압축의 비교

요약

LLM의 컨텍스트 기반 지식 유지 방식과 가중치 통합(LoRA 미세 조정) 방식의 성능을 비교 연구했습니다. 실험 결과, 가중치 통합 방식이 계층적 압축 방식보다 지식 보존율에서 약 43.6%p 높은 성능을 보였습니다.

핵심 포인트

• 컨텍스트 압축 대비 가중치 통합 방식이 지식 보존에 훨씬 유리함
• 절차적 수정 및 에피소드적 사실 보존에서 큰 이득 확인
• 평가 시 평균 교차 엔트로피보다 중앙값 사용이 정확도 추적에 적합함
• 지속적 개인화를 위해 가중치 기반 통합 아키텍처 필요성 제시