양에서 가치로: 온디바이스 RAG를 위한 선호도 정렬 메모리 구축

요약

온디바이스 AI 에이전트의 개인정보 보호와 응답성을 위해, 제한된 메모리 환경에서도 사용자 선호도를 효과적으로 반영할 수 있는 EPIC(Efficient Preference-aligned Index Construction) 기술을 제안합니다. EPIC은 원시 데이터에서 선호도 관련 정보만을 선택적으로 추출하여 인덱싱함으로써, 메모리 사용량을 획기적으로 줄이면서도 검색 정확도와 속도를 대폭 향상시킵니다.

핵심 포인트

• EPIC은 사용자 선호도를 압축된 개인적 문맥으로 간주하여 RAG 파이프라인에 통합하는 기술입니다.
• 기존 방식 대비 인덱싱 메모리 사용량을 최대 2,404배 절감할 수 있습니다.
• 선호도 준수 정확도(preference-following accuracy)를 20.17%p 향상시켰습니다.
• 가장 우수한 베이스라인 대비 검색 지연 시간을 33.33배 단축하여 온디바이스 환경에 최적화되었습니다.
• 1 MB 미만의 메모리 사용량과 29.35 ms/query의 낮은 지연 시간을 유지하며 스트리밍 업데이트가 가능합니다.