SciHorizon-DataEVA: 이질적 과학 데이터의 AI 준비도 평가를 위한 에이전트 시스템

AI-for-Science (AI4Science) 는 기계 학습 모델을 예측, 시뮬레이션, 가설 생성 워크플로우에 통합하여 다양한 도메인에서 과학적 발견을 변화시키고 있습니다. 그러나 이러한 모델의 효과성은 근본적으로 과학 데이터의 AI 준비도 (AI-readiness) 에 의해 제한되며, 현재는 확장 가능하고 체계적인 평가 메커니즘이 존재하지 않습니다. 본 연구에서는 이질적 과학 데이터에 대한 확장 가능한 AI 준비도 평가를 위한 새로운 에이전트 시스템인 SciHorizon-DataEVA 를 제안합니다. 평가 기준 수준에서 우리는 AI 준비도를 네 가지 상호 보완적인 차원인 거버넌스 신뢰성 (Governance Trustworthiness), 데이터 품질 (Data Quality), AI 호환성 (AI Compatibility), 과학적 적응성 (Scientific Adaptability) 으로 구성하는 Sci-TQA2 원칙을 도입합니다. 각 차원은 세분화되고 실행 가능한 평가를 가능하게 하는 측정 가능한 원자적 요소로 분해됩니다. 이러한 원칙을 대규모로 구현하기 위해 경량 데이터 프로파일링, 적용 가능성 인식 지표 활성화, 도메인 제약 및 데이터-논문 신호에 기반한 지식 증강 계획 (knowledge-augmented planning) 을 결합하여 데이터셋 인식 평가 사양 (dataset-aware evaluation specifications) 을 동적으로 구축하는 계층적 다중 에이전트 평가 접근법인 Sci-TQA2-Eval 을 개발했습니다. 이러한 사양은 내장된 검증 및 자기 수정 기능을 갖춘 적응형 도구 중심 평가 메커니즘을 통해 실행되어 이질적 과학 데이터 전반에 걸쳐 확장 가능하고 신뢰할 수 있는 평가를 가능하게 합니다. 다중 도메인을 아우르는 과학 데이터셋에 대한 광범위한 실험은 SciHorizon-DataEVA 가 원칙적인 AI 준비도 평가를 위한 효과성과 보편성을 입증했습니다.