명세에서 실행까지: AI 지원 과학적 워크플로우 관리

과학적 워크플로우 관리 시스템 (WMS)은 복잡한 파이프라인의 확장 가능하고 재현 가능한 실행을 지원하지만, 워크플로우 설계, 구현 및 디버깅은 여전히 상당 부분 수동적이며 상당한 전문 지식을 필요로 합니다. 대규모 언어 모델 (LLMs)을 사용하는 최근의 접근 방식은 자연어로부터의 워크플로우 생성에 가능성을 보여주었으나, 종종 직접적인 코드 합성 (code synthesis)에 의존하여 투명성, 재현성 및 워크플로우 시스템과의 통합을 제한합니다. 우리는 명세 기반 워크플로우 생성, 자동 디버깅 및 분산 실행을 결합한 과학적 워크플로우 관리를 위한 AI 지원 접근 방식을 제시합니다. 이 방법은 워크플로우의 의도, 설계 및 구현을 분리하는 구조화된 명세 (specification) 단계를 도입하여, 코드 생성 전에 검증을 가능하게 합니다. 또한 우리는 여러 시스템 계층에 걸쳐 실패를 진단하고 해결하는 LLM 기반 디버깅 에이전트를 개발합니다. 분산 실행과 사용자 상호작용을 지원하기 위해, 우리는 널리 사용되는 WMS인 Pegasus를 모델 컨텍스트 프로토콜 (Model Context Protocol, MCP) 계층과 통합하여 워크플로우 제출, 모니터링 및 제어를 위한 통합 인터페이스를 제공합니다. 우리는 병렬적이고 반복적이며 의존성이 높은 구조를 가진 의료 영상용 연합 학습 (federated learning) 워크플로우를 사용하여 이 접근 방식을 평가합니다. 시스템은 수천 개의 작업이 포함된 대규모 워크플로우를 생성 및 실행하였고, 디버깅 노력을 줄였으며, 비전문가 사용자가 전문가 수준의 설계 패턴으로 워크플로우를 구축할 수 있도록 했습니다. 이러한 결과는 엔드 투 엔드 (end-to-end) AI 지원 워크플로우 생성 및 실행이 가능하다는 것을 나타내며, 과학적 워크플로우 수명 주기를 관리하기 위한 AI 주도 플랫폼을 향한 방향을 제시합니다.