에이전트에게 의미론적 메타데이터가 필요한가? 에이전트 기반 데이터 검색에 관한 비교 연구

자율 에이전트(autonomous agents) 시대에, 기계가 실행 가능한 데이터(machine-actionable data)는 데이터 중심 워크플로(data-driven workflows)에 있어 매우 중요합니다. 지난 10년 이상, schema.org와 같은 의미론적 메타데이터(semantic metadata)는 기계 실행 가능 데이터에 대한 FAIR 원칙(Findable, Accessible, Interoperable, and Reusable; 찾을 수 있고, 접근 가능하며, 상호 운용 가능하고, 재사용 가능한)의 중심 역할을 해왔으며, Google Dataset Search와 같은 발견 도구를 가능하게 했습니다. 그러나 비정형 웹(unstructured web)을 탐색할 수 있는 대규모 언어 모델(LLMs)의 부상은 근본적인 질문을 던집니다: 에이전트 기반의 데이터 발견(agentic data discovery)을 위해 의미론적 메타데이터가 여전히 필요한가, 아니면 에이전트가 웹에서 직접 실행 가능한 데이터를 안정적으로 검색할 수 있는가? 우리는 두 가지 서로 다른 환경에서 에이전트 기반 데이터 검색(agentic data retrieval)에 대한 비교 분석을 제시합니다: 수십억 개의 오픈 웹 문서를 검색하는 베이스라인 에이전트(Baseline Agent)와 schema.org를 사용하여 9,000만 개의 데이터셋 코퍼스(corpus)를 활용하는 의미론적 에이전트(Semantic Agent)입니다. 우리는 검색된 데이터의 의미론적 관련성(semantic relevance), 데이터 접근성(data accessibility), 그리고 계산적 유용성(computational utility)을 평가하기 위해 FAIR 원칙에 직접 매핑된 "LLM-as-a-judge" 평가 파이프라인을 배포합니다. 우리의 결과는 명확한 차이를 보여줍니다. 의미론적 에이전트는 실행 가능한 데이터를 검색하는 데 탁월하며, 반환된 결과 중 메타데이터가 풍부한 레지스트리(registries)에 대해 44.9% 더 높은 정밀도(precision)를, 기계 판독 가능한 다운로드가 있는 페이지에 대해 46.6% 더 높은 정밀도를 달성했습니다. 반대로, 베이스라인 에이전트는 실제 데이터 페이지 대신 산문 위주의 페이지(결과의 20.1%)와 포털 랜딩 페이지(8.5%)를 검색하는 "라스트 마일 유용성(Last-Mile Utility)" 실패를 빈번하게 겪습니다. 베이스라인 에이전트는 40% 더 많은 질문에 답함으로써 더 높은 커버리지(coverage)를 달성하지만, 의미론적 에이전트는 FAIR 준수 데이터셋을 검색하는 데 있어 전체 정밀도가 65.7% 더 높게 나타나며 더 큰 정확도를 제공합니다. 우리는 비정형 검색(unstructured retrieval)이 광범위한 탐색적 작업(exploratory tasks)을 지원하는 반면, 구조화된 생태계(structured ecosystems)는 신뢰할 수 있고 실행 중심적인 자율 워크플로(autonomous workflows)를 위한 필수적인 토대로 남아있다는 결론을 내립니다.