논문에서 벤치마크로: 기계 건강 지능(Machine Health Intelligence) 분야의 불충분하게 명시된 방법론에 대한 에이전트 기반

산업적 예후 및 건강 관리 (Industrial Prognostics and Health Management, PHM)는 응용 머신러닝 (Applied Machine Learning)의 광범위한 과제, 즉 출판된 논문을 실행 가능하고 벤치마크 준비가 된 구현체로 변환하는 문제에 대한 대표적인 사례 연구를 제공합니다. PHM에서 불충분하게 명시된 (under-specified) 방법론을 재현하는 것은 산업용 데이터셋에 대한 제한된 접근성, 전처리 및 평가 프로토콜의 불완전한 보고, 그리고 성능에 결정적인 영향을 미치는 암묵적인 설계 선택(예: 윈도잉 (windowing), 타겟 구성 (target construction), 데이터 분할 (data splits))으로 인해 특히 어렵습니다. 기존의 논문-코드 (paper-to-code) 시스템은 개별 논문에 대한 구현체를 생성하지만, 이러한 결과물들은 가정(assumptions)과 평가 설정의 불일치로 인해 직접적으로 비교하기 어려운 경우가 많습니다. 본 논문에서는 에이전트가 슬롯 바인딩 인터페이스 (slot-binding interface)를 통해 논문을 공유된 PHM 벤치마크 프레임워크로 변환하는 '에이전트 기반 프레임워크 활용 PHM 논문 재현' 방식을 소개합니다. 이 인터페이스는 방정식과 프로토콜 설명을 구조화된 구성 요소(작업 정의, 데이터셋 어댑터, 윈도잉, 타겟, 모델, 평가기)로 매핑하는 동시에, 해결되지 않은 가정들을 명시적으로 기록합니다. 결과물로 도출된 구현체는 표준화된 작업 계약 (task contracts) 및 평가 훅 (evaluation hooks)을 통해 검증되어, 일관되고 비교 가능한 벤치마킹을 가능하게 합니다. 우리는 16개의 PHM 논문을 대상으로 이 접근 방식을 평가하며, 프레임워크가 강화된 기술 기반 (skill-based) 및 프롬프트 기반 (prompt-based) 에이전트 재현 방식을 최근의 프레임워크가 없는 논문 재현 에이전트와 비교합니다. 우리는 재현 성공 여부, 모델 기반 코드 평가, 논문 가정의 프레임워크 바인딩, 그리고 표준화된 프로토콜 하에서의 논문 간 벤치마크 비교 가능성을 평가합니다. 연구 결과, 에이전트 생성 (agentic generation)을 공유 프레임워크와 결합함으로써 논문 재현을 고립된 코드 합성에서 실행 가능하고, 가정을 인지하며, 체계적으로 비교 가능한 벤치마크 구현체로 전환할 수 있음을 보여줍니다.