좌표나 영역 레이블 없이 수행하는 시각적 문서 이해에서의 증거 귀속 (Evidence Attribution)
요약
시각적 문서 이해(VDU) 모델이 좌표 대신 텍스트 인용을 사용하는 언어 인터페이스를 통해 증거 귀속 성능을 높이는 연구를 소개합니다. 좌표 기반 방식의 환각 문제를 해결하기 위해 GRPO 레시피를 도입하여 영역 레이블 없이도 정확도를 개선했습니다.
핵심 포인트
- 좌표 인터페이스 대신 언어 인터페이스를 사용하여 증거 재현율을 대폭 향상
- 귀속 환각(Attribution Hallucination) 문제를 절반 수준으로 감소시킴
- GRPO 레시피를 통해 비용이 많이 드는 영역 레이블 없이도 모델 훈련 가능
- 8B 모델의 엄격한 귀속 정확도를 22.4에서 33.8로 개선
신뢰할 수 있는 시각적 문서 이해 (Visual Document Understanding)를 위해서는 모델이 각 답변을 이를 뒷받침하는 증거 영역 (evidence regions)에 귀속시켜야 합니다. 최근의 벤치마크와 시스템들은 이 단계를 좌표 인터페이스 (coordinate interface)를 통해 표현합니다. 즉, 모델이 문서 내 증거 영역을 표시하는 경계 상자 (bounding boxes)의 좌표를 출력하는 방식입니다. 이러한 인터페이스 하에서 시각-언어 모델 (vision-language models)은 답변이 정답일 때조차 올바른 영역을 식별하지 못하는 경우가 빈번하며, 이러한 실패를 귀속 환각 (Attribution Hallucination)이라고 합니다. 본 연구에서는 이러한 실패가 모델이 좌표를 통해 표현할 수 있는 능력에 의해 부분적으로 제한되는지 조사합니다. 검증된 이중 언어 CiteVQA 서브셋을 사용하여, 우리는 좌표 인터페이스와 언어 인터페이스 (language interface)를 비교합니다. 언어 인터페이스에서는 모델이 증거를 있는 그대로 인용하여 텍스트만 출력하고, 멀티모달 검색기 (multimodal retriever)가 레이아웃 파서 (layout parser)가 제안한 페이지 영역으로서 각 인용구의 위치를 반환합니다 (표와 그림은 캡션이나 주석을 통해 인용됩니다). 이 비교는 6개의 오픈 시각-언어 모델을 대상으로 반복되었습니다. 좌표 인터페이스와 비교했을 때, 답변 품질의 변화는 거의 없으면서 증거 재현율 (evidence recall)은 최대 8포인트에서 26~47포인트 사이로 상승하였고, 환각률 (hallucination rate)은 대략 절반으로 감소했습니다. 이 비교를 바탕으로, 우리는 동일한 인용 및 검색 (quote-and-retrieve) 파이프라인을 훈련 스캐폴드 (training scaffold)로 사용합니다. 긴 문서에 대해 영역 수준의 증거 레이블 (region-level evidence labels)을 수집하는 것은 비용이 많이 들기 때문에, 우리는 판독자가 정답 (gold answer)과 검색된 영역의 크롭 (crops)을 읽고 보상을 주는 GRPO 레시피를 도입합니다. 이를 통해 모델이 영역 레이블 없이도 더 나은 증거를 인용하도록 훈련하며, 8B 백본 (backbone)의 엄격한 귀속 정확도 (strict attributed accuracy)를 22.4에서 33.8로 높였습니다. 이러한 결과는 좌표 인터페이스 없이, 그리고 비용이 많이 드는 영역 수준의 감독 (region-level supervision) 없이도 귀속 성능을 향상시킬 수 있는 실질적인 경로를 제시합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기