에이전트 AI 어시스턴트는 어떻게 작동하는가? 소프트웨어 개발자들은 에이전트의 권한 결정을 어떻게 이해하고 수행하는가

Agentic AI assistants는 파일 수정, 명령어 실행, 외부 리소스 접근 등을 통해 개발자를 대신하여 활동하는 경우가 증가하고 있습니다. 이러한 활동은 종종 권한을 필요로 하지만, 실무자들이 에이전트의 자율성을 활용하면서도 어떻게 권한 결정을 내리는지에 대해서는 알려진 바가 거의 없습니다. 이 격차를 해소하기 위해, 우리는 AI 에이전트를 사용하는 18명의 실무자를 대상으로 순차적 혼합 방법론(sequential mixed methods) 연구를 수행하여 인터뷰를 진행했고, 그 결과를 바탕으로 115명의 실무자에게 설문조사를 실시했습니다. 저희는 실무자들이 에이전트의 행동을 직접 관찰하고 검토할 수 있는 것들을 통해 이해하는 경향이 있으며, 반면 백그라운드에서 이루어지는 결정, 데이터 사용 및 기타 활동들은 여전히 불분명하다는 것을 발견했습니다. 이러한 불확실성은 권한 결정에도 영향을 미치는데, 이는 행동의 범위와 위험도, 작업 적합성, 에이전트에 대한 익숙함, 그리고 에이전트가 작동하는 환경에 따라 달라집니다. 실무자들은 사전에 한계를 설정하거나 실행을 모니터링하고 나중에 작업을 검토하는 등, 에이전트를 감독하는 정도를 조정함으로써 대응합니다. 그들이 적용하는 세밀한 검토 수준은 신뢰도, 작업 중요성, 시간적 압박감, 그리고 행동의 결과와 같은 요인에 따라 달라집니다. 저희의 연구 결과는 권한 시스템이 중요한(consequential) 활동을 더 쉽게 검토할 수 있도록 하고, 에이전트가 무엇을 할 수 있는지 사용자가 의도한 것과 구별하며, 되돌릴 수 있는 과정(reversibility)을 명확히 하고, 반복적인 승인을 안정적인 선호도로 취급하는 것을 피하고, 단일 행동 거부와 전체 접근 방식 거부를 구분해야 한다고 제안합니다.