Show HN: AI 에이전트에게 사용자가 어디를 클릭해야 하는지 보여주는 온스크린 가이드 제공

안녕하세요, HN. 저는 Frigade의 공동 창업자 중 한 명인 Christian입니다 (YC W23). 저는 많은 인앱(in-app) AI 에이전트들이 자신이 존재하는 제품을 실제로 이해하는 데 어려움을 겪는 것을 발견했습니다. 예를 들어, 사용자가 주어진 SaaS 제품에서 무언가를 어떻게 하는지 에이전트에게 질문한다고 가정해 봅시다. 이상적인 경우, 해당 에이전트는 그 작업을 수행할 도구가 있다고 답하고 사용자 대신 그 작업을 완전히 자동화합니다. 이것은 아주 좋은 결과입니다.

하지만 종종 그렇지 않습니다. 정확한 작업에 대한 도구 호출(tool call)이 없거나, 사용자의 질문이 특정 UI 워크플로우나 인터페이스를 통해 해결되는 것이 가장 좋을 수 있습니다. 이러한 경우, 많은 에이전트들이 도움말 센터의 기본적인 RAG(Retrieval-Augmented Generation)에 의존하거나, 때로는 자체 제품에 대한 이해를 위해 인터넷 검색을 수행하는 경향이 있습니다. 이것은 매우 느린 과정일 수 있으며, 대부분의 경우 도움말 센터 기사는 제품보다 더 빠르게 진화하기 때문에 오래되어 있습니다. 게다가, 아무도 긴 목록의 글머리 기호(bullet)를 읽고 그것을 UI에 매핑하는 것을 좋아하지 않습니다.

제 도구(Assist API)는 다음과 같이 정의된 단일 도구 호출로 이 격차를 해소합니다:

const frigade_guide_tool = {
description: '제품 질문에 답하거나 사용자에게 작업을 안내하기 위해 이 도구를 호출하세요.',
parameters: {
...

Vercel AI SDK를 사용하여 이를 설정하는 방법을 녹화한 데모가 여기 있습니다: https://www.youtube.com/watch?v=9WQ0UbLjC6I도구가 호출되면 다음을 수행합니다:

1. 사용자가 화면에서 보고 있는 내용, 권한(permissions), 기능 플래그(feature flags) 등을 수집합니다. 그런 다음 다음 중 하나를 수행합니다:

2a) 해결 가능한 경우: 주어진 문제를 해결하는 방법에 대한 온스크린 가이드를 생성합니다.

2b) 개념적인 경우: 부모 에이전트에게 문제를 해결하는 방법을 설명하는 텍스트를 반환합니다.

2c) 거부 (즉, 도움을 줄 수 없음)

도구는 어떻게 무엇을 해야 하는지 알까요?

이 도구는 브라우저 기반 에이전트를 사용하여 주어진 애플리케이션 UI를 학습합니다. 사용자는 소프트웨어(예: 스테이징 또는 프리뷰)에 테스트 계정을 제공하고, 브라우저 에이전트가 로그인하여 제품 전체를 탐색합니다. 그런 다음 이 에이전트는 애플리케이션 작동 방식의 자체 지도를 구축하며, 이를 통해 모든 제품 관련 질문이나 UI에서 A부터 B까지 어떻게 이동하는지 질의할 수 있습니다. 또한 이 지도로부터 자체 문서를 작성합니다. 이 에이전트는 일정에 따라 재실행되거나 CI/CD를 통해 트리거될 수 있습니다.

문서 및 추가 세부 정보: https://frigade.com/assist-api