메타데이터가 과도할 때 오해를 불러일으키는 방식: LLM이 생성한 박물관 설명에서 필드 수준의 근거 탐색

요약

본 연구는 메타데이터 기반 데이터-대-텍스트 작업에서 단순히 메타데이터의 양만으로는 정보 근거 제시를 보장할 수 없음을 밝힙니다. 박물관 설명 생성을 예로 들어, 필드 유형과 이미지 접근성이 모델이 정보를 근거 제시(ground), 생략(omit), 또는 추론(infer)하는 방식을 결정함을 보여줍니다. 따라서 데이터-대-텍스트 평가는 집계된 입력 커버리지가 아닌 필드 및 주장 수준의 정교한 근거 탐색에 초점을 맞춰야 합니다.

핵심 포인트

• 메타데이터의 양만으로는 LLM의 생성 행동을 설명할 수 없다.
• 필드 유형이 모델이 정보를 근거 제시, 생략, 추론하는 방식을 결정한다.
• 이미지는 시각적 근거를 지원하지만, 뒷받침되지 않은 해석도 증가시킬 수 있다.
• 데이터-대-텍스트 평가는 필드 및 주장 수준의 정교한 근거 탐색이 필수다.