지난 1년 동안 AI 에이전트를 구축하기 위한 프레임워크가 폭발적으로 늘어났습니다. 하지만 여전히 이들을 평가하는 방식은 고립된 프롬프트를 실행하고 출력을 비교하는 것에 그치는 경우가 많습니다.
그것이 프로덕션 환경에서 에이전트가 작동하는 방식은 아닙니다.

에이전트는 도구를 호출합니다. API와 상호작용합니다. 여러 턴(turns)에 걸쳐 컨텍스트를 유지합니다. 이전 행동에 의존하여 결정을 내립니다. 그리고 이 모든 것을 수행하면서 조직의 정책을 준수할 것으로 기대받습니다.

이것이 바로 저희 Humanbound가 해결하고자 하는 문제입니다.

Humanbound는 AI 에이전트를 위한 오픈 소스 테스트 엔진으로, 고립된 프롬프트 대신 실제 행동을 평가합니다. 라이브 엔드포인트(live endpoints)를 테스트하고, 다중 턴 대화를 시뮬레이션하며, 도구 사용(tool use)을 연습하고, 자체 정책에 따라 결과를 점수화할 수 있습니다.

제가 특히 마음에 드는 아이디어 중 하나는 평가와 강제(enforcement) 사이의 루프를 닫는 것입니다. 테스트가 바람직하지 않은 행동을 발견하면, 그 실패한 테스트는 단순히 보고서 속 항목으로 남는 것이 아니라 배포 가능한 가드레일 규칙(guardrail rule)이 될 수 있습니다.

저희는 아직 초기 단계라, 세련된 데모보다 커뮤니티의 피드백이 훨씬 중요합니다.

만약 AI 에이전트를 구축하고 계시다면, Humanbound를 사용해 보시길 바랍니다.

퀵스타트(quickstart)를 실행해 보세요. 자신만의 시나리오를 테스트해 보세요. 망가뜨려 보세요. 작동하지 않는 부분을 알려주세요. 엣지 케이스(edge cases)야말로 평가 프레임워크가 흥미로워지는 지점입니다.

만약 로컬 배포가 중요하다면, Humanbound는 Ollama와 함께 완전히 로컬 환경에서 격리된 실행(air-gapped execution)도 지원합니다.

문서화: https://docs.humanbound.ai

GitHub: https://github.com/humanbound/humanbound

어떤 점이 작동하는지, 어떤 점이 작동하지 않는지, 그리고 다음에 무엇을 보고 싶은지 듣기를 기대합니다.