AI 워크플로우 스토어(AI Workflow Store)를 활용하여 개인 에이전트에 견고성 엔지니어링하기
요약
본 글은 현재 AI 에이전트의 주류 패러다임인 '즉석(on-the-fly)' 계획 합성 및 실행 방식에 의문을 제기하며, 이 방식이 신뢰성 있고 안전한 소프트웨어 시스템을 구축하는 데 필요한 체계적인 엔지니어링 프로세스를 단축시킨다고 지적합니다. 따라서 AI 에이전트가 사용자에게 효과적으로 제공되기 위해서는 반복적 설계, 엄격한 테스트, 적대적 평가 등 전통적인 소프트웨어 엔지니어링(SE)의 원칙들을 통합해야 함을 주장합니다.
핵심 포인트
- 현재 AI 에이전트는 사용자의 프롬프트에 즉각적으로 대응하는 '즉석' 루프를 중심으로 작동하고 있다.
- 이러한 실시간 합성 중심의 접근 방식은 전통적인 소프트웨어 엔지니어링(SE) 프로세스(반복적 설계, 테스트 등)를 무시할 위험이 있다.
- 빠른 프로토타입 제공에 초점을 맞추다 보니, 고위험 시나리오에 대비한 견고성(robustness) 확보가 부족하다.
- AI 에이전트의 신뢰성과 안전성을 높이기 위해서는 엄격하고 체계적인 소프트웨어 엔지니어링 프로세스를 통합하는 것이 필수적이다.
현재 AI 에이전트의 지배적인 패러다임은 사용자의 프롬프트에 대응하여 몇 초 또는 몇 분 내에 계획을 합성하고 행동을 실행하는 '즉석(on-the-fly)' 루프입니다. 우리는 이 패러다임이 오늘날 우리가 사용하는 (상대적으로) 신뢰할 수 있고 안전한 시스템을 제공해 온 체계적인 소프트웨어 엔지니어링(SE) 프로세스—반복적 설계, 엄격한 테스트, 적대적 평가, 단계적 배포 등—를 단축시킨다고 주장합니다. 빠른 실시간 합성에 초점을 맞춤으로써, AI 에이전트가 사용자가 의도치 않게 적용할 수 있는 고위험 시나리오에 적합한 시스템보다는 즉흥적인 프로토타입을 사용자에게 효과적으로 제공하고 있을까요? 본 논문은 엄격한 SE 프로세스를 에이전트에 통합할 필요성을 주장합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기