개인화된 LLM은 전체 대화 기록이 필요한가? 관련성 필터링을 통해 전체 기록의 단 5%만으로 매칭하기

개인 비서들은 긴 대화 기록을 축적하며, 요청마다 전체 기록을 LLM에 전달하는 것은 비용이 많이 듭니다. 우리는 그것 또한 불필요하다는 것을 보여줍니다. PersonaMem-v2(180개의 질문)에서 GPT-5.6-terra와 Claude Opus 5.5를 심사위원으로 사용했을 때, 현재 요청과의 유사도에 따라 기록을 순위화하고 고정된 예산에서 중단하는 문장 단위 검색(sentence-level retrieval)으로 구축된 관련성 필터링 컨텍스트는 전체 기록의 단 5%만으로 전체 기록과 동일한 정확도를 달성하며, 심사위원의 입력량을 20배 가까이 줄입니다. 같은 길이의 LLM 요약본도 비슷한 성능을 보이지만, 이는 전체 기록을 읽어야 하는 LLM이 필요하고, 반면 검색은 작은 임베딩 모델만 필요합니다. 문장 단위 검색과 LLM 요약 모두 강력한 성능을 발휘하지만, 검색은 관련 증거를 컨텍스트에 배치하는 데 필요한 질문의 61%만을 사용하며, 오라클(oracle)이 그 증거만으로도 전체 기록보다 15.6점 더 높은 점수를 얻어, 더 나은 컨텍스트 선택이 전체 기록을 능가할 수 있는 유망한 경로임을 보여줍니다.