기업 LLM 에이전트의 정보 보안 취약점 진단: CI-Work 벤치마크

기업용 대규모 언어 모델(LLM) 에이전트는 업무 생산성을 극대화할 잠재력을 가지고 있지만, 사용자의 요청을 대신 처리하기 위해 내부 컨텍스트를 검색하고 활용하는 핵심 기능 자체가 민감 정보 유출의 새로운 위험을 초래합니다. 이러한 문제를 해결하기 위해 본 연구에서는 'Contextual Integrity (CI)' 원칙에 기반한 벤치마크인 CI-Work를 소개합니다.

CI-Work는 기업 환경에서의 실제 워크플로우를 시뮬레이션하며, 정보가 흐르는 다섯 가지 방향을 포괄적으로 다룹니다. 이 벤치마크의 목적은 에이전트가 필수적인 콘텐츠(essential content)는 전달하면서도 민감한 컨텍스트(sensitive context)는 효과적으로 숨길 수 있는지 평가하는 것입니다.

최첨단 모델들을 대상으로 CI-Work를 평가한 결과, 사생활 침해 실패 사례가 만연하다는 사실이 밝혀졌습니다. 구체적으로, 위반률은 15.8%에서 최대 50.9%에 이르며, 민감 정보 유출 정도는 최고 26.7%까지 관찰되었습니다. 이는 기업 환경에 LLM 에이전트를 도입할 때 심각한 보안 위험을 내포하고 있음을 시사합니다.

더욱 주목해야 할 점은 산업적 배포(industrial deployment)에 필수적인 역설적인 상충 관계입니다. 즉, **높은 작업 효용성(task utility)**을 달성하려는 모델일수록 오히려 프라이버시 위반 가능성이 증가하는 경향이 발견되었습니다. 이러한 취약점은 기업 데이터의 방대한 규모와 잠재적인 사용자 행동 패턴으로 인해 더욱 증폭됩니다.

연구진은 단순히 모델의 크기를 키우거나(model-centric scaling) 추론 깊이를 늘리는 방식으로는 이 근본적인 보안 문제를 해결할 수 없다고 결론지었습니다. 따라서 기업 워크플로우를 안전하게 보호하기 위해서는 패러다임 전환이 필요하며, **모델 중심의 확장을 넘어 컨텍스트 중심의 아키텍처(context-centric architectures)**로 나아가야 한다고 제언합니다.