Croissant Tasks: 재현 가능한 머신러닝 평가를 위한 메타데이터 형식

재현성 (Reproducibility)은 과학적 방법론의 근간이지만, 머신러닝 (Machine Learning) 분야에서는 여전히 중대한 과제로 남아 있습니다. 이에 영향을 미치는 요인으로는 불충분하게 명시된 실행 세부 사항과 취약한 소프트웨어 환경 등이 있습니다. 체크리스트나 수동 검증과 같은 인간 중심의 해결책이 도움이 되기는 하지만, 많은 노력이 필요하며 확장성 (Scale)이 부족합니다. 이를 해결하기 위해, 우리는 저수준의 구현 세부 사항을 고수준의 사양 (Specification)으로 추상화하는 선언적이고 기계 실행 가능한 메타데이터 형식인 Croissant Tasks를 소개합니다. 이 형식은 개념적 재현성 (Conceptual Reproducibility)을 가능하게 합니다. 즉, 취약한 소스 코드 복제가 아닌, 독립적인 에이전트 (Agent)가 생성한 구현을 통해 주장을 검증하는 것입니다. 본 연구의 기여는 다음과 같습니다: (1) 작업 문제 (Task Problem)와 해결책 (Solution)을 공식적으로 분리하는 Croissant Tasks 사양, (2) 기존 벤치마크 (Benchmark)를 이 형식으로 소급 적용하는 자동화된 LLM 파이프라인, (3) 자율 에이전트가 이러한 사양을 입력받아 처음부터 기능적이고 정확한 재현 파이프라인을 생성할 수 있음을 보여주는 실증적 검증입니다. 우리는 이 형식이 머신러닝에서의 자동화된 개념적 재현성을 위한 새로운 토대가 될 것으로 기대합니다.