OpenAI, AI 보안 플랫폼 'Promptfoo' 인수 발표

OpenAI가 AI 시스템의 취약점을 식별하고 개선하는 전문 플랫폼인 Promptfoo를 인수한다고 발표했습니다. 이 기술은 기업들이 개발 단계에서 AI 에이전트의 보안을 확보하는 데 필수적입니다.

이번 인수를 통해 Promptfoo의 강력한 기능들은 OpenAI의 핵심 플랫폼인 Frontier에 통합됩니다. Frontier는 사용자들이 'AI 동료(AI coworkers)'를 구축하고 운영할 수 있도록 돕는 환경입니다.

기업들이 AI 에이전트를 실제 업무 흐름에 적용하면서, 단순히 작동하는 것을 넘어 평가, 보안, 규정 준수(compliance)가 핵심 요구사항이 되었습니다. 따라서 개발 초기 단계부터 에이전트의 행동을 체계적으로 테스트하고 잠재적 위험을 사전에 감지하며, 시간이 지남에 따라 관리 및 감독 기록을 남기는 것이 중요해졌습니다.

Promptfoo는 이미 포춘 500대 기업 중 25% 이상에서 신뢰받고 있는 도구들을 보유하고 있으며, 오픈 소스(open-source) CLI와 라이브러리를 통해 LLM 애플리케이션의 평가 및 레드팀(red-teaming) 작업을 지원합니다. 이 기술들이 Frontier에 통합되면서 다음과 같은 핵심 역량이 강화됩니다:

• 플랫폼 내 보안 테스트: 프롬프트 인젝션, 탈옥(jailbreaks), 데이터 유출 등 다양한 위험을 자동으로 감지하고 수정할 수 있는 기능이 기본 탑재됩니다.
• 개발 워크플로우 통합: 에이전트의 위험 요소를 식별하고 해결하는 과정이 개발 단계 초기에 깊숙이 통합되어 보안이 핵심 프로세스가 됩니다.
• 감독 및 책임성(Accountability): 테스트 기록, 변경 사항 모니터링 등을 통해 조직이 AI에 대한 거버넌스(governance) 요구사항을 충족하도록 돕습니다.