평가 엔지니어링을 향하여: 실제 환경에서의 ML 평가 하네스(Evaluation Harnesses)에 대한 실증적 연구

평가 하네스(Evaluation harnesses)는 모델 호출(model invocation), 데이터 로딩(data loading), 지표 계산(metric computation), 결과 보고(result reporting)를 관리함으로써 모델 평가를 조율하는 소프트웨어 시스템입니다. 머신러닝 (ML) 인프라에서 이들이 수행하는 결정적인 역할에도 불구하고, 운영상의 과제와 엔지니어링 측면의 관심은 지금까지 제한적이었습니다. 본 연구에서는 57개의 평가 하네스에 대한 실증적 연구를 제시하며, 5단계 하네스 모델을 도출하고 16,560개의 이슈를 워크플로 단계 및 근본 원인별로 분류하였습니다. 대부분의 하네스 운영 과제는 하네스가 외부 모델, 데이터셋 및 스코어링 저지(scoring judges)를 통합하는 명세 (Specification) 단계(이슈의 41.4%)에 집중되어 있습니다. 운영 과제의 가장 빈번한 세 가지 근본 원인은 미구현 기능 (unimplemented features, 24.3%), 문서화 공백 (documentation gaps, 20.3%), 그리고 입력 검증 누락 (missing input validation, 17.2%)이며, 이들은 기존 기능의 결함과 의도된 워크플로를 차단하는 역량 격차를 모두 아우르며 분류된 이슈의 총 61.7%를 차지합니다. 근본 원인은 워크플로 단계에 따라서도 다르게 나타납니다. 프로비저닝 (provisioning) 이슈의 36.2%는 환경 불일치 (environment incompatibility) 및 외부 의존성 파손 (external dependency breakage)이 차지하는 반면, 평가 (assessment) 이슈는 알고리즘 오류 (algorithmic error, 25.9%)와 검증 격차 (validation gap, 22.5%)가 지배적입니다. 이러한 기여를 통해 본 연구는 평가 엔지니어링 (evaluation engineering)을 별도의 소프트웨어 엔지니어링 관심사로 다루기 위한 실증적 토대를 마련합니다.