심볼릭 분리: 지식 그래프를 활용하여 신뢰할 수 있는 운영 데이터 분석에 심층 에이전트 접목하기
요약
본 논문은 LLM 기반 에이전트가 복잡한 운영 데이터 분석에서 신뢰성을 확보하기 어렵다는 문제를 지적합니다. 이를 해결하기 위해 '심볼릭 분리(symbolic separation)'를 제안하며, 깊은 추론을 하는 에이전트를 온톨로지 제약형 가상 지식 그래프에만 연결하여 데이터에 작용하게 합니다. 이 접근법은 엔드투엔드 성공률을 크게 높이고 비용 효율성을 개선합니다.
핵심 포인트
- LLM의 환각 문제 해결을 위해 심볼릭 분리 기법 도입
- 추론과 데이터 접근을 온톨로지 기반 가상 지식 그래프로 분리
- 성공률 43%에서 86%로 향상, 비용 절감 효과 입증
생성형 AI는 데이터 센터와 Industry 4.0 설비의 방대한 수치적 원격 측정(telemetry) 데이터를 자연어 접근으로 제공하겠다고 약속하지만, 텍스트-투-쿼리 및 도구 사용 에이전트는 여전히 신뢰하기 어렵습니다. 심지어 최첨단 모델들도 실제 데이터베이스 질문 중 절반도 제대로 답변하지 못하며, 여러 단계가 필요한 운영 관련 질문에 대해서는 훨씬 더 적은 성능을 보입니다. 이는 LLM(대규모 언어 모델)이 이질적인 출처들이 어떻게 상호 관계하는지를 구성해야 하며, 단순히 필드(field)뿐만 아니라 관계까지 환각(hallucinates)하기 때문입니다. 우리는 심볼릭 분리(symbolic separation)를 제안합니다: 깊은 에이전트가 자유롭게 추론하지만, 오직 결정론적 사전 실행 검증을 거친 온톨로지 제약형 가상 지식 그래프(Virtual Knowledge Graph)를 통해서만 데이터에 작용할 수 있게 합니다. 도구 API의 인터페이스 계약과 달리, 이 도메인 의미론적 계약은 복잡한 질문을 LLM이 추론하는 조인(join) 대신 검증된 그래프 순회(graph traversal) 하나로 변환합니다. Neurosymbolic Deep Analyst로 구현되어 49.9 TB의 슈퍼컴퓨터 원격 측정 데이터에 대해 엄격한 워크플로우 및 비-심볼릭 제거 실험(non-symbolic ablation)으로 평가했을 때, 엔드투엔드 작업 성공률을 43%에서 86%로 끌어올리고, 어떤 구문 검사도 잡지 못하는 조용한 데이터 무결성 오류를 방지하며, 토큰 비용을 2.4배 절감하여 더 작은 온프레미스 모델이 더 큰 모델보다 뛰어난 성능을 보이게 합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기