DoorDash가 공개한 AI 에이전트 'Vera': 동일 모델로 Claude Code 대비 25점 향상

DoorDash는 자신들의 AI 에이전트 작동 방식을 공개했습니다. 이 에이전트는 완전히 동일한 모델을 사용했음에도 불구하고 일반적인 Claude Code보다 25점 더 높은 점수를 받았습니다.

그들은 이것을 Vera라고 부릅니다. 10,000명 이상의 직원이 비즈니스에 대해 질문하면, Vera는 그들의 데이터에서 답을 찾아냅니다. 전반적으로 정답률이 43%에서 90%로 향상되었습니다.

구축 과정:

1. 치트 시트(Cheat sheet). 어떤 데이터를 신뢰할지, 각 비즈니스 용어의 의미가 무엇인지, 사물들이 어떻게 연결되는지에 대한 정보입니다. 에이전트는 답변하기 전에 이것을 읽습니다.

2. 잠긴 문(Locked doors). 팀이 확인한 출처만 사용할 수 있습니다. 그 외 모든 것은 차단됩니다.

3. 실제 테스트(Real tests). 슬랙(Slack)과 지라(Jira)에서 사람들이 실제로 했던 질문들을 가져와 1,900개 이상의 테스트로 만들었습니다. 모든 답변은 검증받습니다: 올바른 도구, 올바른 데이터, 올바른 결과.

4. 큰 작업 전 계획 수립(A plan before big jobs). 어려운 질문에 대해서는 먼저 계획을 작성하고, 어떤 작업이 시작되기 전에 사람이 이를 승인합니다.

이를 복제하려면:

판매하는 것에 대해 한 페이지를 작성하고, 중요하게 생각하는 숫자와 용어의 의미가 무엇인지 기술하세요.

팀에서 나온 20개의 실제 질문과 그에 대한 정답을 저장하세요. 변경 사항이 있을 때마다 이 질문들로 테스트하세요.

어떤 것이든 큰 작업이라면 먼저 계획을 요청하세요.

모델은 임대하는 것입니다. 구축 과정(Setup)은 여러분이 소유하는 것이며, DoorDash는 바로 그 부분에서 25점의 차이를 발견했습니다.