요약

본 글은 현재 AI 에이전트의 주류 패러다임인 '즉석(on-the-fly)' 계획 합성 및 실행 방식에 의문을 제기하며, 이 방식이 신뢰성 있고 안전한 소프트웨어 시스템을 구축하는 데 필요한 체계적인 엔지니어링 프로세스를 단축시킨다고 지적합니다. 따라서 AI 에이전트가 사용자에게 효과적으로 제공되기 위해서는 반복적 설계, 엄격한 테스트, 적대적 평가 등 전통적인 소프트웨어 엔지니어링(SE)의 원칙들을 통합해야 함을 주장합니다.

핵심 포인트

• 현재 AI 에이전트는 사용자의 프롬프트에 즉각적으로 대응하는 '즉석' 루프를 중심으로 작동하고 있다.
• 이러한 실시간 합성 중심의 접근 방식은 전통적인 소프트웨어 엔지니어링(SE) 프로세스(반복적 설계, 테스트 등)를 무시할 위험이 있다.
• 빠른 프로토타입 제공에 초점을 맞추다 보니, 고위험 시나리오에 대비한 견고성(robustness) 확보가 부족하다.
• AI 에이전트의 신뢰성과 안전성을 높이기 위해서는 엄격하고 체계적인 소프트웨어 엔지니어링 프로세스를 통합하는 것이 필수적이다.