안녕하세요 HN! 저는 Dex입니다. AI 에이전트(AI agents)가 피드백, 입력 및 승인을 위해 인간에게 연락할 수 있게 해주는 API인 HumanLayer(https://humanlayer.dev)를 구축하고 있습니다. 저희는 프로덕션 환경에서 자율적/헤드리스(autonomous/headless) AI 시스템의 안전한 배포를 가능하게 합니다. 저희의 Python 또는 TypeScript SDK를 통해 체험해 보실 수 있으며, 무료 체험을 통해 즉시 사용을 시작할 수 있습니다. 무료 티어와 투명한 사용량 기반 요금제를 제공합니다. 데모는 여기 있습니다:

정말 흥미로운 점은, 저희가 그렇지 않았다면 너무 위험했을 AI 시스템을 팀들이 배포할 수 있도록 지원하고 있다는 것입니다. 저희는 중요한 단계에서 항상 인간이 개입(human-in-the-loop)한다는 것을 인지하면서도, 여러분이 강력한 에이전트를 구축하는 데 집중할 수 있도록 해줍니다. 사람들이 동적인 인간 감독(dynamic human oversight)을 프로덕션 AI 시스템의 핵심 요소로 고려하면서 더 큰 그림을 그리기 시작하는 것을 보는 것은 정말 멋진 경험이었습니다.

이 프로젝트는 저희가 데이터 팀을 위한 AI 에이전트를 구축할 때 시작되었습니다. 저희는 사용하지 않는 테이블을 삭제하는 것과 같은 지루한 작업들을 자동화하고 싶었지만, 고객들은 (당연하게도!) AI 에이전트에게 프로덕션 시스템에 대한 직접적인 접근 권한을 주는 것에 반대했습니다.

AI를 "프로덕션 등급(production grade)"의 신뢰도로 만드는 것은 "AI가 수행하는 이 작업이 얼마나 위험한가"의 함수입니다. 저희에게는 에이전트가 99.9+%의 신뢰도를 가질 수 있는 지점까지 도달하기 위해 평가(evals), 미세 조정(fine tuning), 프롬프트 엔지니어링(prompt engineering)에 빠져있어야 하는 3개월 이상의 시간이 없었습니다. 그리고 설령 그렇게 된다 하더라도, 의사 결정권자들이 스위치를 올리는(실행하는) 것에 안심하게 만드는 것은 여전히 과제였습니다. 그래서 저희는 대신 "테이블을 삭제하기 전에 Slack에서 물어보기"와 같은 기본적인 승인 흐름(approval flows)을 구축했습니다.

하지만 이러한 커뮤니케이션 자체에도 가드레일(guardrails)이 필요했습니다. 만약 에이전트가 잘못된 사람에게 연락한다면 어떻게 될까요? 그가 구매한 도구가 CEO에게 성가신 Slack 메시지를 보낸다면 데이터 책임자의 체면이 어떻게 되겠습니까? 저희의 구매자들은 에이전트가 이해관계자에게 승인을 요청하기를 원했지만, 그전에 그들이 "승인을 요청하는 동작" 자체를 승인하기를 원했습니다. 그러다 저는 제품 빌더이자 소유자로서 생각하기 시작했습니다... 저 또한 "승인을 요청하기 위한 승인을 요청하는 동작"을 승인하고 싶어 한다는 것을요!

저는 저와 제 고객들의 Slack 인스턴스 모두에서 이러한 사례들을 처리할 수 있는 인간-AI 상호작용 (human-AI interaction) 시스템을 임시로 구축했습니다. 이 시점에 저는 AI 에이전트 (AI agents)를 구축하는 모든 팀에게 이러한 종류의 인프라가 필요할 것이라고 확신했고, 이를 독립적인 제품으로 만들기로 결정했습니다. 저는 샌프란시스코의 한 AI 미트업 (meetup)에서 MVP를 선보였고, 수많은 놀라운 대화들을 나누었으며, HumanLayer를 구축하는 데 모든 것을 걸었습니다.

HumanLayer SDK를 통합하면, 귀하의 AI 에이전트는 실행 중 어느 시점에서나 인간의 승인 (human approval)을 요청할 수 있습니다. 저희는 이러한 요청을 사용자가 선호하는 채널(Slack 또는 이메일, SMS 및 Teams는 곧 출시 예정)을 통해 적절한 사람에게 전달하는 복잡한 라우팅 (routing) 과정을 처리하고, 응답을 기다리는 동안 상태 (state)를 관리하며, 완전한 감사 추적 (audit trail)을 제공합니다. "승인 요청" 외에도, 저희는 LLM 또는 에이전트 프레임워크 (agent framework)에 노출될 수 있는 더 일반적인 "도구로서의 인간 (human as tool)" 기능을 지원합니다. 이 기능은 "$PROBLEM 문제에 막혔습니다. $THINGS 시도해 보았으나, 조언 부탁드립니다"와 같은 일반적인 질문에 대해 인간의 응답을 수집하는 작업을 처리합니다 (저희가 백오피스 자동화를 위해 배포한 사내 에이전트들로부터 가끔 이런 메시지를 받곤 합니다).

도구 호출 (tool-calling) 레이어에 위치하기 때문에, HumanLayer의 SDK는 CrewAI, LangChain 등과 같은 모든 AI 프레임워크와 도구 호출을 지원하는 모든 언어 모델 (language model)과 함께 작동합니다. 만약 귀하가 직접 에이전트/도구 루프 (agentic/tools loop)를 구축하고 있다면, 더 낮은 수준의 SDK 프리미티브 (primitives)를 사용하여 원하는 방식대로 승인을 관리할 수 있습니다. 저희는 심지어 HumanLayer가 AI-대-인간뿐만 아니라 인간-대-인간 승인에도 사용되는 유스케이스 (use cases)를 탐색하고 있습니다.

저희는 무료 티어 (free tier)와 유연한 크레딧 기반 요금제를 제공합니다. 고객 대면 에이전트를 구축하는 팀의 경우, 화이트라벨링 (whitelabeling)과 추가 기능 및 우선 지원을 받을 수 있습니다.

귀하의 시스템에 HumanLayer를 통합하고 싶다면, https://humanlayer.dev/docs 에서 문서를 확인하거나 https://humanlayer.dev 에서 데모를 예약하세요.

읽어주셔서 감사합니다! 저희가 초기 단계라는 점을 인정하며, 에이전트, 신뢰성, 그리고 인간+AI 워크로드 (workloads)의 균형과 관련된 귀하의 아이디어와 경험을 환영합니다.