Duolingo는 자신들의 엔지니어들이 실제 운영 환경(production)에서 사용하는 AI 에이전트 구성을 방금 공개했습니다.

이 에이전트들은 깨진 빌드를 수정하고, 코드 리뷰 댓글에 응답하며, 릴리스 매니저를 위해 앱 충돌을 조사합니다.

문제는 익숙했습니다. 모든 팀들이 새로운 에이전트를 만들 때마다 동일한 배관(plumbing)을 재구축해야 했습니다: 도구, 로그인, 저장소 접근 권한, 재시도 로직 등. 하나의 운영 에이전트가 몇 주가 걸렸습니다.

이제는 약 10분밖에 걸리지 않습니다.

작동 방식:

1. 에이전트를 한 번만 설명합니다. 지침(Instructions), 도구(tools), 볼 수 있는 저장소(repos), 모델, 출력 형식 등을 정의합니다.

2. 공유된 래퍼(wrapper)가 이를 실행합니다. 작업 공간을 준비하고, 실패에 대한 재시도를 수행하며, 모든 도구 호출 내역을 보여줍니다.

3. 어떤 것이든 이름으로 에이전트를 호출할 수 있습니다: Slack, CLI, 내부 사이트, 다른 워크플로우 등.

4. 에이전트는 작성된 시나리오로 테스트되며, 실제로 변경한 코드를 검사합니다.

오늘 복사해 갈 수 있는 것:

답변 자체가 아니라 차이점(diff)을 평가하는 기능입니다. Duolingo는 에이전트가 수정했다고 주장하지만 아무것도 변경하지 않았거나, 수정할 필요가 없다고 말했지만 파일을 편집했을 때 테스트에 실패합니다.

그리고 하나의 수정이 건드릴 수 있는 파일 수를 제한하는 기능도 있습니다.