표준 벤치마크에서 지식 그래프를 텍스트로 생성하는 최신 대규모 언어 모델에 대한 실증 연구

요약

본 연구는 지식 그래프를 텍스트로 변환하는(KG-to-text) 최신 LLM의 성능을 실증적으로 분석했습니다. 참조 기반 및 그래프 기반 두 가지 평가 지표를 사용하여 모델들을 비교한 결과, LLM은 기존 파인튜닝 모델 대비 전반적인 성능 향상을 보였습니다. 특히 오류 검출에 강점을 가진 그래프 기반 지표에서 우위를 입증하며, 두 평가 방식이 포착하는 품질 측면의 차이를 제시했습니다.

핵심 포인트

• LLM은 KG-to-text 생성 작업에서 기존 모델 대비 높은 경쟁력을 보임.
• 참조 기반 지표는 격차를 좁히지만, 그래프 기반 지표가 더 정확한 성능을 측정함.
• 그래프 기반 평가는 LLM이 모순이나 트리플 누락 오류를 줄여준다는 것을 입증함.