창업자 이야기: 제가 이것을 구축하는 이유
요약
본 글은 AI 에이전트가 데모 환경에서는 훌륭하지만 실제 운영(Production) 환경에서 취약하다는 문제점을 지적합니다. 단순히 화면을 스크래핑하는 방식으로는 통제 불가능하며, 대신 구조화된 접근 권한과 명시적인 '예'를 요구하는 계약 기반의 제어 메커니즘이 필요하다고 주장합니다.
핵심 포인트
- 에이전트는 데모와 달리 실제 운영 환경에서 취약하다.
- 단순 화면 스크래핑은 통제 불가능하며, 맹목성을 가진다.
- 핵심은 구조화된 접근 권한과 명시적 인간 개입(Human in the Loop)이다.
- HIVE는 에이전트가 프로덕션 환경에서 작동하도록 돕기 위해 구축된다.
우리에게는 특별한 순간이 기억에 남아 있습니다. 우리는 SaaS 제품 내부에서 실제 작업을 수행하는 에이전트의 데모를 보고 있었습니다. 대시보드를 클릭하고, 양식을 작성하며, 정말 유용해 보이는 모습이었습니다. 그리고 질문이 던져졌습니다. 이 에이전트를 중요한 순간, 자정(3 AM)에 감독 없이 작동하도록 신뢰할 수 있을까?
그것이 바로 HIVE의 배경이 되는 질문입니다.
에이전트는 데모에서는 훌륭하지만 실제 운영 환경(production)에서는 취약합니다. 우리는 같은 패턴을 계속 목격했습니다. 화면 스크래핑 에이전트는 통제된 데모에서는 아름답게 작동하다가, UI가 변경되는 순간 깨집니다. 버튼 디자인이 바뀌거나, 필드가 이동하면 — 조용히 실패하며, 잘못된 행동을 완벽한 확신과 함께 수행합니다. 에이전트가 '봐야' 하는 모든 픽셀에는 토큰, 지연 시간(latency), 그리고 취약성이라는 대가가 따릅니다.
하지만 더 깊은 문제는 취약성이 아닙니다. 그것은 '맹목성(blindness)'입니다. UI를 클릭하는 에이전트는 무엇이 안전하고 위험한지 구별할 수 없습니다. 권한(permissions) 개념 자체가 없습니다 — 단순히 화면이 허용하는 대로 행동합니다. 사이버 보안 분야에서 일하면서, 우리는 실제 접근 제어(access control)가 어떤 모습인지 보았습니다: 사전에 정의되고, 사용자로부터 상속되며, 되돌릴 수 없는 어떤 행동을 하기 전에 명시적인 '예'가 필요한 것입니다.
그것이 저희의 핵심 가설(thesis)이 되었습니다. 에이전트는 화면을 스크래핑해서는 안 됩니다. 그들은 계약(contract) 내부에서 작동해야 합니다: 제품의 실제 기능에 대한 구조화된 접근 권한, 권한 제어 방식이며, 고영향 행동(high-impact actions) 전에는 인간의 개입(human in the loop)이 필요합니다.
저희는 발견 단계부터 시작했습니다 — 실제로 AI 제품을 구축하는 창업자 개발자 및 엔지니어들과 대화하고, 배운 것을 바탕으로 반복 개선해 나갔습니다. 저희는 기업 구매자를 위해 이것을 만들고 있는 것이 아닙니다. 에이전트가 데모에서 작동하는 방식 그대로 운영 환경(production)에서도 작동하기를 원하는 AI 제품을 출시하는 개발자 및 스타트업을 위해 이것을 구축하고 있습니다.
그리고 시장이 동의하기 시작하고 있습니다. 9월 말, Genea는 네이티브 MCP 서버를 출시했습니다. 그들의 접근 제어 소프트웨어는 이제 에이전트가 일반 언어로 문과 사용자를 관리할 수 있게 합니다. 기본적으로 권한은 비활성화되어 있으며, 사용자에게 기존 권한을 상속받고, 접근 권한을 취소하는 것과 같은 높은 영향도의 작업에 대해서는 명시적인 승인을 기다립니다. 이것이 우리가 주장하는 정확한 형태의 제어입니다. 먼저 구축되는 제어 장치인 것입니다.
솔직히 말해 한 가지 유의할 점은 Genea가 자체 소프트웨어를 소유하고 있기 때문에, 이 기능을 1차 파티(first-party)로 직접 구축할 수 있다는 것입니다. HIVE의 베팅은 공급업체가 스스로 절대 구축하지 않을 수많은 SaaS 제품에 있습니다. 이것이 우리가 메우고 있는 간극입니다.
저희가 HIVE를 구축하는 이유는 데모가 제품이 아니기 때문입니다. 프로덕션(Production) 환경이 제품이기 때문입니다.
에이전트들이 프로덕션에 도달했을 때 가장 먼저 깨지는 것은 무엇일까요?
#BuildInPublic #AIAgents #AgenticAI #AIInfrastructure #SaaS #DevCommunity
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기