인간이 작성한 텍스트 내 사실적 오류에 대한 경험적 분석 및 응용

주어진 텍스트에서 사실적으로 잘못된 구간을 식별하는 작업인 사실적 오류 탐지 (Factual Error Detection, FED)는 오랫동안 중요한 연구 문제로 인식되어 왔습니다. 그러나 대규모 언어 모델 (Large Language Models, LLMs)의 급격한 부상과 함께, 연구의 관심은 LLM이 생성한 텍스트 특유의 사실적 오류 (환각 (hallucinations)) 및 그 탐지로 이동했습니다. 그 결과, 인간이 작성한 텍스트에서의 사실적 오류 탐지는 상대적으로 소홀히 다루어져 왔습니다. 이러한 격차를 해소하기 위해, 우리는 먼저 인간이 작성한 것이 보장되고 문법적 오류가 적은 대표적인 텍스트 소스인 신문 기사의 수정 사항을 분석하여 인간에 의해 유발된 사실적 오류의 분류 체계 (taxonomy)를 추출했습니다. 우리의 분석 결과, 기존의 환각 벤치마크에서는 집중적으로 다루지 않는 한자 오기 (kanji misconversions) 및 수량사 오류 (numeral classifier errors)와 같은 특징적인 범주들이 존재함을 밝혀냈습니다. 이 분류 체계를 바탕으로, 우리는 합성된 현실적인 테스트 케이스와 실제 수정 사례를 통해 일반적인 LLM의 FED 능력을 평가했습니다. 실험 결과, GPT-5.4와 같은 고성능 LLM조차 합성된 평가 데이터에서 단어 수준의 F1 점수가 52%에 불과하다는 것을 보여주었으며, 이는 해당 작업의 난이도를 강조합니다. 나아가, 탐지 난이도별 상세 분석을 통해 FED의 현주소를 드러냈습니다.