Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM이 표 데이터를 처리할 때 발생하는 데이터 참조 오류(DREs)를 체계적으로 분석하고 평가한 연구입니다. 비판자(critic) 모델을 활용한 필터링과 거부 샘플링을 통해 답변 정확도를 높이는 방법론을 제시합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델(LLMs)이 표 관련 작업에서 우수한 성능을 보이지만, 표 구조를 이해함에도 불구하고 데이터 참조 오류(Data Referencing Errors, DREs), 즉 표의 값을 잘못 인용하거나 누락하는 오류를 여전히 범하고 있습니다. 최종 답변의 정확도를 넘어, DREs는 중간 추론 단계의 정확성과 신뢰성을 직접적으로 저해합니다. 그러나 이전 연구들은 제한적이고 소규모인 분석만을 제공해 왔습니다. 본 연구에서는 다양한 모델과 작업에 걸쳐 표 데이터 참조 오류를 체계적으로 평가한 첫 사례를 제시합니다. 연구 결과, 테스트된 모든 모델(1.7B에서 20B 파라미터)에서 DREs가 발생함을 확인했습니다. 나아가, 데이터 참조를 비판자(critic)로 통합함으로써 비판자 기반 필터링(critic-based filtering) 및 거부 샘플링(rejection sampling)을 통해 답변 정확도를 최대 12.0%까지 유의미하게 향상시킬 수 있음을 입증했습니다. 마지막으로, 분포 내(in-distribution) 및 분포 외(out-of-distribution) DREs를 모두 탐지하는 데 있어 평균 78.2%의 F1 점수를 달성하고, 더 큰 모델의 추론을 효과적으로 보조하는 경량 4B 파라미터 비판자 모델을 학습시켰습니다.