전통적인 보안은 접근(Access)에 집중합니다.

사용자가 데이터를 볼 수 있는가?

시스템이 리소스(Resource)에 도달할 수 있는가?

애플리케이션이 서비스에 연결할 수 있는가?

AI 에이전트(AI agents)는 다른 차원의 과제를 제시합니다:

소유권(Ownership).

현대의 에이전트들은 점점 더 다음과 같은 것들과 상호작용합니다:

문서 (documents)
데이터베이스 (databases)
API
고객 정보 (customer information)
내부 도구 (internal tools)

과제는 단순히 정보가 사용 가능한지 여부만이 아닙니다.

과제는 해당 정보가 수행 중인 작업에 속해 있는지(belongs to) 여부입니다.

인간은 본능적으로 소유권의 경계를 이해합니다.

우리는 접근 권한이 정보 사용에 대한 허가(Permission)를 자동으로 부여하는 것은 아니라는 점을 인지합니다.

AI 에이전트들은 종종 그렇지 못합니다.

그들은 컨텍스트(Context)를 봅니다.

그들은 지시사항(Instructions)을 봅니다.

그들은 리소스(Resources)를 봅니다.

그리고 적절하게 제약되지 않는다면, 그들은 의도된 목적을 벗어나 정보를 사용할 수도 있습니다.

에이전트가 더욱 자율화됨에 따라, 소유권 인식(Ownership awareness)은 중요한 보안 요구 사항이 될 것입니다.

이것이 우리가 Crucible을 구축하고 있는 이유 중 하나입니다.

AI 에이전트를 위한 Pytest.

cybersecurity

artificialintelligence

opensource

githubopensource

security

buildinpublic

aiagents