에이전트 기능의 위험성: 개발자들이 에이전트 AI 제품의 리스크를 인식, 우선순위 지정 및 해결하는 방식

에이전트 AI (Agentic AI) 시스템은 자율적으로 행동하고, 도구를 사용하며, 문맥에 적응하고, 복잡한 현실 세계 환경에서 작동합니다. 그러나 이러한 특성들은 제품 리스크를 생성하거나 악화시킬 수 있습니다. 우리는 산업계 개발자들(n=35)이 그들의 에이전트 AI 제품 내 리스크를 어떻게 인식하고, 우선순위를 정하며, 해결하는지 연구했습니다. 연구 결과, 리스크에 대한 개발자들의 인식은 자율성 (autonomy), 도구 사용 (tool use), 현실 세계 문맥에서의 사용과 같이 제품을 에이전트답게 만드는 특성들과 밀접하게 연관되어 있음을 발견했습니다. 개발자들은 일자리 대체나 최종 사용자 개인정보 보호와 같은 다운스트림 사회적 리스크 (downstream societal risks)를 고려하기 전에 제품 및 비즈니스 리스크를 우선시했습니다. 이러한 우선순위 설정은 에이전트 리스크를 완화하려는 개발자들의 능력과 동기에도 영향을 미쳤습니다. 마지막으로, 개발자들은 에이전트 리스크를 제어할 수 있는 성숙한 통제 수단이 부족했으며, 종종 에이전트를 유용하게 만드는 바로 그 특성들(예: 자율성 및 목표 복잡성)을 제한하는 방식에 의존하고 있었습니다. 이러한 발견은 에이전트 AI 개발에서 '역량 대 리스크 제어 (capability vs. risk control)' 사이의 긴장 관계를 드러냅니다. 즉, 개발자들은 에이전트 역량에서 발생하는 리스크를 해결해야 하지만, 현재로서는 에이전트의 기능을 제한하지 않고 이를 수행할 수 있는 지원이 제한적입니다.