메타데이터가 과도할 때 오해를 불러일으키는 방식: LLM이 생성한 박물관 설명에서 필드 수준의 근거 탐색

메타데이터 기반 생성(Metadata-conditioned generation)은 종종 추가 입력 필드가 근거 제시(grounding)를 향상시켜야 하는 데이터-대-텍스트 작업(data-to-text task)으로 간주됩니다. 박물관 설명 생성은 카탈로그 기록이 이질적이고, 부분적으로 시각적이며, 지리적 영역별로 문서화 정도가 고르지 않기 때문에 이러한 가정을 뒤엎습니다. 우리는 두 단계 프레임워크를 통해 메타데이터 구성(metadata composition)이 유물 설명의 생성을 어떻게 형성하는지 연구합니다. 1단계에서는 필드 개수(field count), 필드 유형(field type), 이미지 사용 가능성, 그리고 장소(Place)가 함께 변동하는 대규모 박물관 컬렉션에서 자연적인 메타데이터 변화를 분석합니다. 2단계에서는 객체 정체성을 고정하고 메타데이터 양, 필드 유형, 이미지 접근성을 변화시키는 통제된 필드 탐색(controlled field probes)을 도입합니다. 우리의 결과는 메타데이터의 양만으로는 생성 행동을 설명할 수 없음을 보여줍니다. 필드 유형은 모델이 정보를 근거 제시하는지(ground), 생략하는지(omit), 아니면 추론하는지(infer)를 결정하며, 이미지는 시각적 근거 제시를 지원함과 동시에 뒷받침되지 않은 해석을 증가시킬 수도 있습니다. 더 광범위하게 볼 때, 우리의 발견은 메타데이터 기반 데이터-대-텍스트 평가가 단순히 집계된 입력 커버리지나 참조 유사성에 의존하기보다는 필드 수준 및 주장(claim)-수준의 근거 제시를 평가해야 함을 보여줍니다.