에이전트는 작동합니다. 하지만 답변하는 데 11초가 걸리며, 교체된 기존 방식보다 작업당 비용이 더 많이 듭니다. 데모에서는 아무도 눈치채지 못했습니다. 하지만 출시 검토 단계에서 재무팀이 실제 물량을 기준으로 계산을 해보면, 프로젝트는 조용히 폐기됩니다. 정확도(Accuracy)가 회의실에 들어갈 명분을 주었다면, 경제성(Economics)은 출시 여부를 결정했고, 경제성은 '아니오'라고 답했습니다.

Part 1에서는 비용(Cost)과 지연 시간(Latency)을 기준선(Bar) 위의 하나의 항목으로 불렀습니다. Part 4는 왜 그 항목이 단순한 각주가 아닌지에 대해 다룹니다. 에이전트의 경우, 예산(Budget)은 에이전트를 신뢰할 수 있게 만들기 위해 Part 3에서 했던 모든 노력과 싸우게 됩니다.

비용은 호출(Call)당이 아니라 성공적인 작업(Successful Task)당 계산됩니다

단일 모델 호출(Model call)은 저렴합니다. 토큰당 가격을 기준으로 예를 들면 3센트 정도입니다. 하지만 에이전트는 한 번만 호출하지 않습니다. 계획을 세우고, 도구(Tool)를 호출하고, 결과를 읽고, 또 다른 것을 호출하며, 어쩌면 재시도(Retry)도 합니다. 작업당 8번의 호출은 일반적인 수준이며, 이 경우 작업당 약 24센트가 됩니다. 한 달에 5만 건의 작업을 수행한다면, 기능 하나에 12,000달러가 드는 셈입니다.

상황은 더 악화됩니다. 모든 작업이 성공하는 것은 아니기 때문입니다. 만약 에이전트의 성공률이 70%이고 실패 시 재시도를 한다면, 성공 1건당 약 1.4회의 시도에 대한 비용을 지불하게 되므로, 실제 수치는 성공적인 작업당 약 34센트에 더 가까워집니다. 호출당 비용(Cost per call)은 수치를 낙관적으로 보이게 만들 뿐입니다. 실제로 지불하는 것은 성공적인 결과당 비용(Cost per successful outcome)입니다.

지연 시간(Latency)은 복리로 증가하며, 사람들이 체감하는 것은 꼬리 부분(Tail)입니다

그 8번의 호출은 도구 실행 시간(Tool time)을 포함하여 8번의 왕복(Round trips)이기도 합니다. 평균적인 작업은 8초 정도 걸릴 수 있지만, 분포에는 꼬리(Tail, Part 3)가 존재하며, 사용자는 평균이 아닌 이 꼬리 부분을 체감합니다. p95가 20초라는 것은 20명 중 1명이 로딩 스피너(Spinner)를 지켜보다가 결국 떠나버린다는 것을 의미합니다. 지연 시간은 단일 숫자가 아닙니다. 그것은 절벽이 있는 분포(Distribution)입니다.

신뢰성(Reliability)과 경제성(Economics)은 서로 충돌합니다

여기에 아무도 슬라이드에 담지 않는 긴장 관계가 있습니다. 파트 3에서 에이전트를 더 신뢰할 수 있게(Reliable) 만들었던 모든 요소들, 즉 단계를 여러 번 실행하거나, 재시도(Retry)를 추가하거나, 검증 단계(Verification pass)를 추가하는 것들은 모두 비용과 지연 시간(Latency)을 증가시킵니다. 반대로 더 저렴하고 빠르게 만드는 모든 요소들, 즉 더 적은 단계, 더 작은 모델, 재시도 없음 등은 신뢰성을 낮추는 경향이 있습니다. 두 가지를 모두 극대화할 수는 없습니다. 당신은 당신의 기준에 맞춰 의도적으로 트레이드오프(Trade-off)를 설계하거나, 그렇지 않으면 운영 환경에서 트레이드오프가 당신을 설계하게 될 것입니다.

조절 수단(Levers)들은 지루하지만 효과적입니다. 쉬운 단계에는 더 작은 모델을 사용하고, 비싼 모델은 그 가치를 증명할 수 있는 곳에만 사용하십시오. 반복되는 것은 캐시(Cache)하고, 작업이 무한 루프에 빠지지 않도록 단계 수를 제한하십시오. 맹목적으로 재시도하는 대신 빠르게 실패(Fail fast)하고, 작업당 비용과 지연 시간에 엄격한 상한선(Hard ceiling)을 설정하여 통제 불능 상태가 설계 단계에서부터 포착되도록 하십시오.

Part 5에서는 작동하는 에이전트와 출시 가능한 에이전트 사이의 마지막 요소, 즉 에이전트가 틀렸을 때 어떤 일이 벌어지는지, 그리고 무엇이 피해를 막는지에 대해 다루며 시리즈를 마무리합니다.

예산(Budget)은 정확성(Correctness)의 일부입니다. 감당할 수 없는 정답은 결코 출시될 수 없습니다.