코딩 에이전트가 루프에 빠져 하룻밤 사이에 3,200달러를 소모하다

저희 팀은 5명으로 구성되어 있고, 코딩 에이전트에게 티켓을 맡겨서 밤새 PR(Pull Request)을 열게 했습니다. 그래서 아침까지 처리할 작업이 쌓여있었습니다. 화요일까지는 정상적으로 끝났지만, 수요일 아침에 청구 대시보드에서 이상한 급증이 있었습니다. 파고들어 보니 에이전트가 불안정한 테스트(flaky test)를 건드렸는데, 이 테스트가 계속 실패하자 에이전트는 이를 수정하기 위해 약간 다른 접근 방식으로 테스트를 4,800번 재작성했습니다. 밤 11시 40분부터 아침 6시 15분 사이에 토큰으로 3,200달러가 지출되었습니다. 저희 팀은 에이전트 비용으로 월 600달러를 예산으로 잡고 있는데 말이죠. 저희는 전체 조직에 대한 지출 알림(spend alert)을 설정했지만, 실행당 사용량은 월별 청구서에만 표시되어 중간에 아무도 확인하지 않았습니다. 바보 같았던 부분은 이 티켓이 단 한 줄의 설정 변경이었다는 것입니다. 에이전트는 아무도 멈추라고 말해주지 않으면 에이전트가 하는 대로 정확히 했습니다. 통제 불능 상태가 된 겁니다. 저희는 재무팀에 상황을 설명해야 했고, 엔지니어링 채널에 매우 어색한 메시지를 보내야 했습니다. 이제 저희는 실행당 하드 예산(hard budget per run)과 도구 호출당 최대 재시도 횟수(max retry count per tool call)를 갖게 되었고, 둘 중 하나에 도달하면 에이전트는 멈추고 초안 PR을 열어줍니다. 솔직히 말해서, 이건 처음부터 존재했어야 했습니다. 그래서... 다른 분들은 밤샘 실행 시 지출을 어떻게 제한하고 계신가요?
submitted by /u/erwinalp5 [link] [comments]