<div align="center">
AssetOpsBench
산업 AI 에이전트 구축(Build). 평가(Evaluate). 발전(Advance).
산업용 AI를 위한 개방형 생태계: 데이터, 도구, 파이프라인, 리더보드, 대회, 평가 과학 및 성장하는 연구 커뮤니티.
코드를 탐색하기 · 데이터 받기 · 논문 읽기 · 튜토리얼 사용해 보기 · 리더보드 · 대회 · 평가 과학
</div>
| 연구 논문¹ | 벤치마크 패밀리 | MCP 서버 | 대회 에디션 | 데이터셋 다운로드² | 참여 대학³ |
|---|
| 15 | 6 | 5 + 1 | 2 | 2,654 / 지난달 | 4 |
2026년 11월 9일 스냅샷. ¹ 승인된 논문 및 프리프린트를 포함한 핵심 연구 표. ² Hugging Face 데이터셋 저장소 세 곳에 걸쳐. ³ 나열된 학술-프로젝트 디렉토리 내. 출처 및 카운팅 규칙.
산업 지능은 실질적인 질문에서 시작됩니다: AI 에이전트가 운영 증거(operational evidence)를 신뢰할 수 있는 다음 단계로 전환할 수 있는가?
AssetOpsBench는 이 질문을 재현 가능한 환경으로 가져옵니다. 센서 관측, 고장 지식, 시계열 분석(time-series analysis), 유지보수 워크플로우를 연결하여 연구원과 실무자가 에이전트를 구축하고, 그 결정 사항을 검사하며, 성능을 평가할 수 있도록 합니다. 이 연구 벤치마크에는 전문가가 선별한 141가지 시나리오가 포함되어 있으며, 단일 에이전트 작업 99개와 다중 에이전트가 필요한 작업 42개로 구성되어 있습니다. 벤치마크 연구 읽기 →
개방형 데이터. 새로운 플랫폼. 독립적인 재사용.
Harbor에서 실행 · Kaggle에서 탐색 · 모델 및 새로운 벤치마크 구축
| 검증된 영향력 | 벤치마크 패밀리 기반 구축 |
|---|
| PHMForge on Harbor · DiagnosticIQ on Kaggle | Harbor에서 PHMForge 패키지를 99개 시나리오의 123가지 태스크로 제공하며, 여기에는 두 가지 배터리 구문(phrasings)이 포함됩니다. DiagnosticIQ의 공개 Kaggle 리소스는 6,690개의 유지보수 질문을 제공합니다. Harbor의 데이터 작업 설정은 MCP-paper 평가와 분리되어 있습니다. |
| ... | |
| 벤치마크 실행 외: whatmodel과 BenchmarkList는 공개된 DiagnosticIQ 결과를 재사용하며; [Mercor]는 AOB와 PHMForge를 경제적 작업에 매핑합니다. | |
출처 확인일: 2026년 11월 10일. (재사용 스토리 및 출처 증거 →) · (메트릭 정의 →)
연구 활용도: IndustryBench, Confucius (Minlan Yu와 Soudeh Ghorbani), 그리고 FORGE (Dacheng Tao)에 인용되었습니다. 이들은 데이터셋 재사용과는 별개입니다. (더 많은 연구 스토리 및 출처 →)
하나의 생태계. 기여할 수 있는 다양한 방법들.
AssetOpsBench ecosystem: benchmarks, tools, pipelines, applications, Eval Science, leaderboards, competitions, research, tutorials, events, university projects, and community coverage.
빠른 시작 (Quick Start)
git clone https://github.com/IBM/AssetOpsBench.git
cd AssetOpsBench
pip install -e .
INSTRUCTIONS.md를 따라 서비스를 구성하고 문서화된 에이전트 워크플로우를 실행하십시오. 또한 Hugging Face playground 또는 Colab notebook을 탐색할 수 있습니다.
활성 개발은 main 브랜치에서 진행됩니다. 출판물별 코드는 IndustryAssetEQA 및 main-0.x를 포함한 브랜치에 유지 관리됩니다.
운영 증거에서 평가된 행동으로
현재 저장소는 **IoT, 고장 모드(failure modes), 시계열 분석(time-series analysis), 작업 지시서(work orders), 진동(vibration)**의 5가지 도메인 MCP 서버와 공유 유틸리티를 노출합니다. 에이전트 구현에는 Plan Execute, Deep Agent, Claude Agent, OpenAI Agent, Stirrup, 그리고 OpenCode가 포함됩니다. 인터페이스와 구성을 저장소 및 서버 문서에서 확인해 보세요.
이 구성 요소들은 함께 다음과 같은 연구 워크플로우를 지원합니다:
- 자산 운영에 기반을 둔 작업을 선택합니다.
- 도메인 도구 및 데이터 인터페이스를 통해 증거를 연결합니다.
- 에이전트 또는 파이프라인을 실행하고 그 궤적(trajectory)을 기록합니다.
- 시나리오의 예상 행동과 비교하여 결과를 평가합니다.
- 실패를 조사하고 다른 사람들이 재현할 수 있는 개선 사항을 공유합니다.
KDD 실습 튜토리얼은 MCP 도구부터 기반이 되는 작업 지시서 에이전트, 그리고 감사 가능한 리더보드에 이르기까지 이 과정을 안내합니다.
산업용 AI 벤치마크군(A family of industrial AI benchmarks)
AssetOpsBench는 산업 운영 전반에 걸쳐 상호 보완적인 연구 질문들을 연결합니다. 각 벤치마크는 고유의 작업, 출시 버전 및 평가 프로토콜을 가지고 있습니다.
벤치마크 비교
| 벤치마크 | 다루는 질문/평가 내용 | 탐색 |
|---|
| AssetOpsBench | 에이전트가 산업 운영 작업을 완료하기 위해 도구와 증거를 조정할 수 있는가? | Paper · Data |
| ... | | |
| DiagnosticIQ는 16가지 자산 유형에 걸쳐 전문가가 작성한 118개의 규칙-행동 쌍(rule–action pairs)에서 파생된 6,690개의 객관식 문항으로 구성되어 있습니다. 이 벤치마크의 다섯 가지 변형은 오답 압력(distractor pressure), 표면 변화(surface changes), 산문 공식화(prose formulations), 조건 역전(condition inversion), 그리고 근거 제시(rationales)를 테스트합니다. 2026년 10월에 발표된 논문에서는 29개의 LLM과 네 가지 임베딩 기준선(embedding baselines)을 평가했습니다. DiagnosticIQ v2 | | |
PHMForge는 2026년 8월 논문에서 8가지 자산 클래스에 걸쳐 99개의 시나리오를 39개의 MCP 네이티브 도구(MCP-native tools)와 연결했습니다. 현재 데이터셋 카드는 별도의 회전/항공(rotating/aero) 및 리튬 이온(lithium-ion) 구성을 제공하며, AssetOpsBench의 PHM 출시 버전과 중복되는 부분이 있으므로 개별 작업으로 추가해서는 안 됩니다. PHMForge paper · Dataset card
Harbor에서의 PHMForge: 123개의 패키지화된 작업은 데이터로부터 작동하는 범용 에이전트(general-purpose agents)를 위해 99가지 시나리오를 조정합니다. 이 설정은 PHMForge의 MCP 서버를 생략하며, 여기서 얻은 점수는 논문의 평가와는 별개입니다. Package details
해당 팀은 DiagnosticIQ와 PHMForge가 NeurIPS 2026에 채택되었음을 발표했습니다. PHMForge의 데이터셋 카드는 '평가 및 데이터셋(Evaluations & Datasets)' 트랙임을 명시합니다. 이들은 이미 진행된 학회 발표 기록과는 별개인 채택 공지입니다.
산업 지능을 위한 공개 데이터
리소스
| 리소스 | 연구 초점 | 접근 |
|---|
| AssetOpsBench | 산업 에이전트의 작업 지향적 평가; 논문에서는 141개 시나리오 벤치마크를 설명합니다. | Dataset · Paper |
| ... | | |
| 실험에 사용한 버전을 사용하십시오. 데이터셋 저장소는 시간이 지남에 따라 진화합니다: Hugging Face 시나리오 뷰어에서는 검토했을 때 152개 행을 보여주었지만, 벤치마크 논문은 큐레이션된 141개 시나리오를 보고합니다. 결과를 보고할 때는 데이터셋 개정 버전, 구성 및 코드 커밋을 기록하십시오. 데이터셋 뷰어 → | | |
<a id="publications"></a>
연구 영향력: 사용 중인 데이터셋 (Research impact: datasets in use)
재사용 사례 및 공개된 아티팩트, 학술적 확장, 그리고 인용 감사를 살펴보십시오. 이 등록소는 외부 실험, 연결된 연구, 회사 보고서 및 인용을 구분하며, 각 주장에 대해 버전과 증거를 제공합니다.
연구 포트폴리오 (Research portfolio)
아래의 포트폴리오는 AssetOpsBench와 해당 팀의 관련 작업을 모았습니다. 튜토리얼, 브릿지 기여(bridge contributions), 워크숍 자료는 연구 논문과 별도로 식별됩니다.
벤치마크, 운영 시스템 및 추론 (Benchmarks, operational systems, and reasoning)
튜토리얼, 브릿지 및 워크숍 기여 (Tutorials, bridge, and workshop contributions)
구축하며 배우기 (Learn by building)
AAAI 2027 실습 탐색. 시계열 과학적 발견 실습은 증거 검사(evidence inspection), 레시피 구성(recipe composition), 진단 개선(diagnostic refinement), 평가, 검색을 통해 sktime 기반의 MCP 서버인 TSM-MCP-Kit을 소개합니다. 실습 자료는 단계적으로 공개되고 있으니 사이트를 참고하여 이용 가능 여부를 확인하십시오.
가이드된 실습으로 시작하기. KDD 튜토리얼에서는 환경 설정, 산업용 MCP 도구, 에이전트 실행 및 평가를 다룹니다.