안녕하세요 HN 독자 여러분, 저희는 Xia와 Varun이며, Traceforce의 창립자입니다.

Traceforce는 ChatGPT, Claude 등과 같은 AI 앱에 대해 모든 장치(노트북, 샌드박스, 가상 머신)에서 직접적인 가시성과 제어 기능을 제공합니다. 이는 단순히 어떤 앱이 사용되고 있는지뿐만 아니라, MCP를 통해 다른 데이터 소스와 어떻게 연결되는지까지 발견하기 때문입니다. 또한 저희는 취약한 MCP를 탐지하는 오픈소스 동적 MCP 모의 침투 테스트 도구(mcp-xray)도 보유하고 있습니다.

Traceforce의 목적은 다음과 같습니다:

• 회사의 직원들이 자신들의 장치에서 실행되는 AI 소프트웨어가 안전하게 작동하는지 확인할 수 있는 표준화된 방법을 제공하는 것입니다.
• 회사 보안팀에게 회사 장치에서 AI 소프트웨어 활동에 대한 가시성을 제공하고, 안전하지 않은 행동이나 보안 침해를 가능한 한 빨리 탐지하고 예방할 수 있도록 하는 것입니다.

Traceforce 작동 방식

1. Traceforce는 경량 바이너리 및 브라우저 확장 프로그램 형태로 각 장치에 설치됩니다.
2. 30분 이내에, 해당 장치는 라이브 데이터를 회사 프로필로 업로드하여 모든 회사 장치에서 실행되는 모든 AI 에이전트/앱을 대시보드에 표시합니다.
3. 회사 보안 직원은 실시간으로 모든 에이전트의 활동을 모니터링하고, 제어 기능을 구현하며, 보안 위험이 발생하는 즉시 경고를 받을 수 있습니다.

여기 비디오 데모가 있습니다:

Traceforce의 영감은 Xia가 Clumio라는 스타트업(2024년 10월 Commvault에 인수됨)에서 엔지니어링 디렉터로 재직할 때 얻었습니다. 팀원들이 AI를 사용하는 방식을 속도를 늦추지 않으면서 모니터링하는 것이 당시 Clumio의 최우선 과제였습니다. 50명 이상의 CISO 및 CIO와 대화한 결과, 이것이 현재 업계 전반에 걸쳐 매우 필요한 솔루션이라는 점이 명확해졌습니다. 우리는 새로운 AI 기능들이 너무 빠르고 광범위하게 채택되고 있어, 가시성과 제어 능력이 따라가지 못하고 있다는 이야기를 계속 듣고 있습니다.

Traceforce는 무엇을 모니터링하고 수집하는지에 대해 투명합니다. 기본적으로 Traceforce는 장치에서 실행되는 AI 애플리케이션, MCP(Microcontroller Platforms), 및 도구에 대한 메타데이터와 원격 측정 데이터만을 수집합니다. 보안 팀은 미리 정의된 고위험 또는 잠재적으로 파괴적인 작업을 탐지하거나 경고하거나 차단하기 위해 도구 호출을 검사할 수 있는 옵션을 활성화할 수 있습니다. 모든 콘텐츠 검사는 장치에서 로컬로 이루어집니다. 사용자 프롬프트는 조직의 보안 관리자가 명시적으로 구성하지 않는 한 저장되지 않습니다.

우리는 제품의 최종 사용자와 긴밀하게 협력하며, 그들이 무엇이 모니터링/공유되는지 이해하게 되면, 실제로 장치에 강력한 보호 계층을 갖게 되어 보안 사고를 예방할 수 있다는 큰 안도감을 느낍니다. 이는 사용자가 자신도 모르는 사이에 어떤 정보가 유출되거나 침해될지에 대해 걱정할 필요 없이 업무에만 집중할 수 있게 해줍니다.

Traceforce 바이너리는 Go로 빌드되었고 브라우저 확장 프로그램은 Node JS로 작성되었습니다. 가장 어려운 부분은 AI 애플리케이션, MCP, 및 도구 간의 완전한 연결 그래프를 구축하고, 그 연결로 인해 발생하는 취약점과 공격 경로를 식별하는 것입니다. 기존 보안 도구들은 부족합니다: EDR(Endpoint Detection and Response)은 프로세스를 보고, CASB(Cloud Access Security Broker)는 네트워크 트래픽을 보지만, 둘 다 AI 앱 내부에서 발생하는 애플리케이션 수준의 활동에 대한 가시성을 갖지 못합니다. 우리가 작동하게 만든 방법은 모든 앱의 구성과 로그를 이해하는 것이었습니다. 이는 모든 앱이 다르고 AI 기능이 자주 변경되기 때문에 노동 집약적인 과정입니다.

Traceforce는 현재 10개 조직의 1,000대 이상의 장치에 배포되어 있습니다. 평균적으로 저희는 장치당 15개 이상의 AI 애플리케이션을 발견하며, 각 애플리케이션은 5~10개의 MCP와 연결됩니다. 저희는 고객들이 MCP 구성에서 노출된 평문(plaintext) 비밀 정보를 식별하고, API 키가 AI 생성 코드에 의해 유출되는 것을 방지하며, “DROP TABLE”과 같은 잠재적으로 파괴적인 명령을 실행하기 전에 개발자에게 경고를 제공하도록 도왔습니다. 저희의