비정형 회상에서 스키마 기반 기억으로: 반복적 스키마 인식 추출을 통한 신뢰할 수 있는 AI 기억
요약
본 논문은 기존의 텍스트 임베딩 및 검색(retrieval) 방식의 AI 기억 시스템의 한계를 지적하며, 신뢰할 수 있는 외부 AI 기억은 스키마 기반으로 설계되어야 한다고 주장합니다. 저자들은 객체 감지, 필드 추출 등을 포함하는 '반복적 스키마 인식 쓰기 경로'를 제안하여, 단순한 검색이 아닌 검증된 기록 시스템처럼 작동하도록 아키텍처를 개선했습니다. 이 새로운 접근 방식은 구조화된 데이터 추출 및 엔드투엔드 기억 벤치마크에서 기존의 최첨단(SOTA) 방법론들을 크게 능가하는 높은 성능을 입증했습니다.
핵심 포인트
- AI 기억 시스템은 단순한 검색(retrieval)이 아닌, 기록(record-keeping) 시스템처럼 작동해야 한다.
- 신뢰할 수 있는 외부 AI 기억을 위해서는 스키마 기반 접근 방식(schema-grounded)이 필수적이다.
- 제안된 '반복적 스키마 인식 쓰기 경로'는 객체 감지 및 필드 추출 검증 게이트를 포함하여 데이터의 정확성을 높인다.
- 새로운 아키텍처는 구조화된 추출 벤치마크에서 90.42% 이상의 객체 수준 정확도를 달성하며, 엔드투엔드 기억 벤치마크에서도 높은 성능을 보여준다.
지속적인 AI 기억은 종종 검색 문제로 축소됩니다: 이전 상호작용을 텍스트로 저장하고 임베딩한 후, 모델이 관련 컨텍스트를 나중에 복구하도록 요청합니다. 이 설계는 주제별 회상에는 유용하지만, 에이전트가 프로덕션 환경에서 필요로 하는 종류의 기억 (정확한 사실, 현재 상태, 업데이트 및 삭제, 집계, 관계, 부정적 쿼리, 명시적인 미지수) 에는 맞지 않습니다. 이러한 작업들은 기억이 검색처럼 작동하기보다 기록 시스템처럼 작동하도록 요구합니다. 본 논문은 신뢰할 수 있는 외부 AI 기억은 스키마 기반 (schema-grounded) 이어야 한다고 주장합니다. 스키마는 무엇을 기억해야 하는지, 무엇을 무시할 수 있는지, 어떤 값은 절대 추론되어서는 안 되는지를 정의합니다. 우리는 객체 감지, 필드 감지, 필드-값 추출로 구성된 검증 게이트, 로컬 리트라이, 상태 기반 프롬프트 제어 (stateful prompt control) 를 포함하는 반복적 스키마 인식 쓰기 경로 (iterative, schema-aware write path) 를 제시합니다. 그 결과 해석은 읽기 경로 (read path) 에서 쓰기 경로 (write path) 로 이동합니다: 읽기는 검색된 문어에 대한 반복적 추론이 아닌 검증된 기록에 대한 제한된 쿼리가 됩니다. 우리는 이 설계를 구조화된 추출 및 엔드투엔드 기억 벤치마크에서 평가했습니다. 추출 벤치마크에서, judge-in-the-loop 구성은 90.42% 의 객체 수준 정확도와 62.67% 의 출력 정확도를 달성하여, 모든 테스트된 프론티어 구조화 출력 베이스라인을 상회했습니다. 우리의 엔드투엔드 기억 벤치마크에서 xmemory 는 97.10% 의 F1 점수를 기록한 반면, 제삼자 베이스라인은 80.16%~87.24% 범위를 보였습니다. 애플리케이션 레벨 작업에서는 xmemory 가 95.2% 의 정확도를 달성하여, 전문화된 기억 시스템, 코드 생성 마크다운 하네스, 고객 facing 프론티어 모델 애플리케이션 하네스를 능가했습니다. 이 결과는 안정된 사실과 상태 기반 컴퓨팅이 필요한 기억 워크로드에 대해, 아키텍처가 검색 규모나 모델 강도만으로는 더 중요함을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기