PersonalAI 2.0: 개인화된 LLM 에이전트를 위한 계획 메커니즘을 통한 지식 그래프 탐색/검색 강화

우리는 외부 지식 그래프 (Knowledge Graph, KG)의 통합을 통해 대규모 언어 모델 (Large Language Model, LLM) 기반 시스템을 강화하도록 설계된 새로운 프레임워크인 PersonalAI 2.0 (PAI-2)을 소개합니다. 제안된 접근 방식은 동적인 다단계 쿼리 처리 파이프라인을 통합함으로써 기존의 그래프 검색 증강 생성 (Graph Retrieval-Augmented Generation, GraphRAG) 방법의 주요 한계점을 해결합니다. PAI-2 설계의 핵심은 추출된 엔티티 (Entities), 매칭된 그래프 정점 (Graph Vertices), 그리고 생성된 단서 쿼리 (Clue-queries)에 의해 안내되는 적응형 반복 정보 검색을 수행하는 능력입니다. 6개의 벤치마크 (Natural Questions, TriviaQA, HotpotQA, 2WikiMultihopQA, MuSiQue, DiaASQ)에 대해 수행된 평가 결과, 유사한 방법들 (LightRAG, RAPTOR, HippoRAG 2)과 비교하여 답변 생성의 사실적 정확성 (Factual Correctness)이 향상되었음을 입증했습니다. PAI-2는 4개의 벤치마크에서 LLM-as-a-Judge를 통해 평균 4%의 이득을 달성하였으며, 이는 환각 (Hallucination) 비율을 줄이고 정밀도 (Precision)를 높이는 데 있어의 효과를 반영합니다. 우리는 그래프 탐색 알고리즘 (예: BeamSearch, WaterCircles)의 사용이 표준 플래튼 리트리버 (Flatten Retriever)에 비해 평균 6% 더 우수한 결과를 얻는 반면, 활성화된 검색 계획 강화 메커니즘은 6개의 데이터셋에서 LLM-as-a-Judge 기준 비활성화된 경우보다 18%의 성능 향상을 가져온다는 것을 보여줍니다. 또한, 절제 연구 (Ablation Study)를 통해 PAI-2가 7-14B 규모의 LLM을 사용하여 MINE-1 벤치마크에서 89%의 정보 유지 점수 (Information-retention Score)를 기록하며 SOTA (State-of-the-Art) 결과를 달성함을 밝혔습니다. 종합적으로, 이러한 발견은 확장 가능하고 문맥 인식적인 지식 표현 및 추론 능력을 요구하는 차세대 개인화된 AI 애플리케이션을 위한 기반 모델로서 PAI-2의 잠재력을 강조합니다.