하이브리드 및 컴퓨팅 집약적 HPC 환경에서의 비동기 인간-AI 협업에 대한 워크플로우 지향 프레임워크

요약

본 논문은 고위험 방위 및 보안 분야와 같이 인간 개입이 필수적인 컴퓨팅 집약적 HPC 환경을 위한 비동기 인간-AI 협업 워크플로우 프레임워크를 제안합니다. 이 프레임워크는 HPC 클러스터, 로컬 머신, 클라우드 등 하이브리드 인프라 전반에 걸쳐 작동하며, 컴퓨팅 작업을 중단하지 않고 정의된 체크포인트에서 인간의 입력을 받아 비차단적 감시 및 적응형 워크플로우를 가능하게 합니다. 이를 통해 자원 대기 시간을 최소화하고 운영 AI 시스템의 효율성과 이동성을 크게 향상시킬 수 있습니다.

핵심 포인트

• 고위험 분야에서 인간 개입이 필수적인 AI 훈련/배포 과정을 위한 워크플로우 프레임워크를 제시함.
• HPC 클러스터, 로컬 머신, 클라우드를 아우르는 하이브리드 인프라 환경을 지원함.
• 작업 중단 없이 체크포인트에서 인간 입력을 받아 비동기적이고 비차단적인 협업이 가능하게 함.
• SLURM 기반 스케줄링 및 컨테이너화된 작업과 네이티브 작업을 모두 지원하여 높은 호환성을 가짐.
• MareNostrum 5 시스템 적용 사례를 통해 포터빌리티, 효율성, 감시 측면의 이점을 입증함.