Evaluation Cards: AI 평가 보고를 위한 해석 계층

AI 평가 결과는 대규모로 생성되지만, 리더보드(leaderboards), 모델 카드(model cards), 벤치마크 논문(benchmark papers), 그리고 기업 블로그(company blogs) 전반에 걸쳐 일관성 없이 보고됩니다. 이로 인해 발생하는 비용은 해석의 문제입니다. 독자들은 서로 다른 출처 간의 결과를 신뢰성 있게 비교할 수 없으며, 보고서가 무엇을 누락했는지 식별하거나, 집계된 주장을 근거가 되는 기초 증거로 추적할 수 없습니다. 최근의 노력들이 개별적인 구성 요소들을 다루고는 있으나, 세 가지 공백을 남겨두고 있습니다. 첫째, 평가 라이프사이클(evaluation lifecycle)의 좁은 부분만을 다루며 단일한 해석 가능한 기록으로 구성되지 않습니다. 둘째, 동일한 증거에 대해 서로 다른 이해관계자(stakeholders)가 제기하는 질문들을 차별화하지 못하는 정적인 표현 방식만을 명시합니다. 셋째, 대규모 도입에 필요한 추출 인프라(extraction infrastructure)가 부족하여 서류상의 제안에 머물러 있습니다. 본 논문에서는 벤치마크 메타데이터(benchmark metadata), 평가 실행 데이터(evaluation run data), 그리고 모델 메타데이터(model metadata)를 하나의 통합된 기록으로 구성하는 운영 보고 계층인 \EvalCards{}를 제시합니다. 우리는 (1) 52편의 논문에 대한 구조적 검토와 10명의 이해관계자 인터뷰를 통해 보고 스키마(reporting schema)를 도출하였고, (2) 연구 및 비연구 대상에 맞춰 조정된 독자 모드(reader modes)를 통해 구현된 네 가지 해석 신호(재현성(reproducibility), 문서화 완성도(documentation completeness), 출처 및 위험(provenance and risk), 점수 비교 가능성(score comparability))를 구현하였으며, (3) 5,816개의 모델, 635개의 벤치마크, 101,843개의 결과에 \EvalCards{}를 적용하는 모니터링 도구를 배포하여 현재의 보고 관행에 존재하는 체계적인 격차를 드러냈습니다.