Browserbase가 방금 오픈 소스로 공개한 것이 무엇인지 아십니까???
어떤 에이전트가 웹사이트를 한 번 학습하면, 영원히 10배 더 저렴하게 작업을 수행하는 것입니다.
[제가 실제로 도움받은 점]:
- 새로운 사이트에 스크래퍼 작성 (예전에는 사이트마다 반나절씩 소비했었습니다)
- 사이트가 화요일에 리디자인될 때 셀렉터 추적 (이것 때문에 몇 주를 날렸습니다)
- 네트워크 트래픽에 숨겨진 API 발굴 (이것도 너무 여러 번 포기했습니다)
- 제 팀에게 에이전트가 어떻게 작업을 수행하는지 설명하기 (지금까지는 불가능했습니다)
Autobrowse는 이 모든 것을 3~5회 반복(iteration) 만에 스스로 파악했고,
다음 에이전트가 시작하기 전에 마크다운 파일로 답변을 저장했습니다.
[실제 작동 방식]:
에이전트에게 실제 사이트에서 실제 작업을 부여합니다.
시도하고, 실패하고, 학습하고, 다시 시도합니다.
3~5라운드 만에 제대로 작동하는 경로를 수렴(converges)시킵니다.
그 경로를 SKILL.md로 작성합니다.
다음 에이전트가 이를 로드하여 답변까지 바로 건너뜁니다.
마크다운 파일 자체가 메모리입니다.
이전의 모든 브라우저 에이전트는 기억상실증(AMNESIA)을 앓았습니다.
사이트를 파악한 다음, 세션이 종료되는 순간 잊어버렸습니다.
여러분은 계속해서 같은 발견 비용(discovery tax)을 100번 연속으로 지불하고 있었고, 그것을 알아차리지 못했을 뿐입니다.
[Karpathy의 자동 연구 아이디어를 웹에 적용한 것]:
같은 아이디어지만 접근 방식만 다릅니다.
Karpathy는 연구 및 코딩 루프(loop)를 위해 이를 했습니다.
Autobrowse는 오픈 웹을 위해 이를 합니다.
새로운 부분은 다음과 같습니다:
Karpathy의 루프가 한 세션 안에서 더 똑똑해졌다면,
Autobrowse는 그 교훈을 파일로 저장하여 다음 에이전트가 시작하기 전에 읽게 합니다.
반복(iteration) = 졸업(graduation)
에이전트는 단순히 학습하는 것이 아니라, 다음에 오는 모든 에이전트를 위해 메모를 남깁니다.
[수학적 계산]:
Craigslist 스크래핑:
- 일반 에이전트 루프: $0.22 / 71초
- 졸업한 Autobrowse 기술(skill): $0.12 / 27초
폼 채우기 작업(form-fill task):
- 실행 1회: $1.40
- 실행 4회: $0.24
첫 번째 실행이 그 이후의 모든 것을 지불합니다.
[제 머리를 터지게 만든 부분]:
그들이 이것을 연방 보조금 포털에 겨눴습니다.
에이전트가 주변을 탐색하다가 인간들이 수년간 놓치고 있던 비문서화된 JSON 엔드포인트를 발견했습니다.
28페이지 분량의 스크래핑이 단 한 번의 가져오기(fetch)로 축소되었습니다.
에이전트가 사람이 절대 시도하지 않을 만한 것을 시도했고,
사람이 결코 보지 못할 무언가를 발견했습니다..
100% 오픈 소스, 무료입니다.
저는 아침 내내 그 안을 파헤치고 있었는데, 토큰 지출에서 이런 절약이 되는 것을 보고 감명받았습니다.
말 그대로 10개의 웹사이트를 스크래핑하는 데 기본적인 $1.02 대신 단지 12센트만 사용했습니다.
P.S. 혹시 제가 설정 과정에 너무 '강요하는' 듯한 반응을 보였다면 죄송합니다. 그저 무엇이 보물인지 대문자로 표시하고 싶었을 뿐입니다.
이것은 건너뛰셔도 됩니다. 당신의 문제입니다.