Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
불확실한 지식 그래프(UKG)를 활용하여 LLM의 환각 현상을 줄이는 새로운 프레임워크 Debate-on-Graph(DoG)를 제안합니다. 휴리스틱 탐색과 적응형 적대적 토론 메커니즘을 통해 노이즈가 포함된 지식 속에서도 신뢰할 수 있는 추론을 수행합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델(LLMs)은 자연어 처리(Natural Language Processing) 분야에서 놀라운 능력을 입증해 왔습니다. 그러나 LLMs는 질의응답(QA) 작업을 수행할 때 환각(Hallucinations) 현상을 겪거나 관련 지식이 부족한 경우가 많습니다. 이러한 문제를 완화하기 위해 지식 그래프(Knowledge Graphs, KGs)가 LLM의 추론을 강화하는 데 활용되어 왔습니다. 그럼에도 불구하고 KGs는 종종 노이즈와 오류를 포함하고 있으며, 기존의 KG 강화 LLM 접근 방식은 일반적으로 이러한 노이즈와 오류가 있는 콘텐츠를 식별하고 필터링하지 못합니다. 이는 오히려 환각을 증폭시키고 신뢰할 수 있는 추론에 어려움을 줄 수 있습니다. 각 트리플(Triple)에 불확실성을 정량화하기 위한 신뢰도 점수(Confidence Score)를 결합한 불확실한 지식 그래프(Uncertain Knowledge Graphs, UKGs)는 이 과제를 해결할 수 있는 유망한 방향을 제시합니다. 이전 연구와 비교하여, 본 연구에서는 QA를 위해 LLMs를 지원하는 UKGs 활용 방법을 조사합니다. 우리는 LLMs와 UKGs가 신뢰할 수 있는 추론을 위해 적응적으로 협력할 수 있게 하는 새로운 프레임워크인 Debate-on-Graph (DoG)를 제안합니다. 구체적으로, 먼저 UKGs에 맞춤화된 휴리스틱 탐색(Heuristic Search) 알고리즘을 설계하여 신뢰할 수 있고 질문과 관련된 서브그래프(Subgraphs)를 추출함으로써, 검색된 지식 내의 노이즈와 오류를 줄입니다. 그런 다음, 적응형 적대적 토론(Adaptive Adversarial Debates)을 통해 신뢰할 수 있는 답변을 도출하는 멀티 에이전트 토론(Multi-Agent Debate) 메커니즘을 도입합니다. 이는 검색된 증거의 신뢰성을 유지하면서 UKGs의 지식을 최대한 활용하는 것을 목표로 합니다. 네 가지 벤치마크 QA 데이터셋에 대한 광범위한 실험 결과, DoG는 기존의 LLM 추론 방법 및 KG 기반 베이스라인(Baselines)보다 뛰어난 최첨단(State-of-the-art) 성능을 달성하는 동시에 신뢰할 수 있고 적응적인 추론을 가능하게 함을 보여주었습니다. 우리의 코드는 https://github.com/seucoin/Debate-on-Graph 에서 확인할 수 있습니다.