Amazon은 AI가 다양한 프로젝트에서 회사의 과도한 지출을 유발하고 있음을 보여주는 여러 내부 보고서를 보유하고 있습니다. Financial Times의 보도에 따르면, 비용 초과액은 단 하나의 프로젝트에서만 180만 달러에 달했습니다. 이러한 실수들은 과거에는 "사소할 정도로 저렴"했으나, AI 모델로 인해 "재앙적으로 비싸게" 변했습니다. 특히 AI 에이전트(AI agents)의 배포와 함께 토큰(token) 소비가 급격히 증가함에 따라 이러한 현상이 심화되었습니다.

TH Premium으로 더 깊이 알아보기: AI 및 데이터 센터

Microsoft data center in Mount Pleasant, Wisconsin

(이미지 출처: Microsoft)

• 광학(Photonics) 및 고속 데이터 이동은 차세대 주요 AI 병목 현상입니다
• 데이터 센터 냉각 현황
• 대규모 AI 데이터 센터 구축이 에너지 공급을 압박하고 있습니다
• Ultra Ethernet: 미래의 데이터 센터 상호 연결 기술

지금까지 발생한 가장 큰 실수는 Claude Sonnet AI 배포 실패로 인해 발생한 180만 달러의 청구서입니다. 이 프로젝트는 저자 상세 정보와 Amazon의 상품 목록을 매칭하기 위한 것이었으나, 할당된 예산보다 860%나 초과된 비용이 발생했으며, 문제가 발생한 지 약 5개월이 지나서야 발견되었습니다. 그 외에 드러난 다른 문제로는 아이러니하게도 재무 감사 도구 (financial auditing tool)를 구축하는 프로젝트에서 발생한 541,000달러의 추가 비용과, 회사의 물류 네트워크에서 배송 시간을 단축하기 위해 설계된 시스템에서 발생한 134,000달러의 추가 지출 등이 있습니다.

_FT_에 따르면, Amazon은 내부 발표에서 "모든 새로운 기술과 마찬가지로, 우리는 비용 효율성을 높이는 방법을 포함하여 기술을 사용하는 방식을 실험하고, 배우고, 개선하고 있습니다"라고 밝혔습니다. 또한 "팀들이 서로에게 배우고 있는 작고 고립된 사례들만을 골라내어 이를 일반적인 상황인 것처럼 묘사하는 것은 Amazon 전반의 팀들이 AI를 사용하는 방식을 반영하지 못합니다"라고 덧붙였습니다. 실패한 AI 프로젝트에 100만 달러 이상의 과도한 지출을 하는 것이 일반인들에게는 지나쳐 보일 수 있지만, 이 기술 거대 기업의 최근 분기 매출은 1,810억 달러 이상이며, 이는 이러한 초과 AI 비용이 회사가 한 달 동안 벌어들이는 수익의 0.1%조차 차지하지 않는다는 것을 의미합니다.

Amazon의 워크플로우에서 AI 관련 문제가 발생한 것은 이번이 처음이 아닙니다. 올해 초, AWS는 AI 코딩 봇의 실수로 인해 발생한 여러 차례의 서비스 중단을 보고한 바 있으나, 회사는 AI 에이전트에게 이들이 연결된 시니어 엔지니어와 동일한 권한을 부여하는 대신 접근 권한을 제한함으로써 이 문제를 해결했습니다. 또한 과거에는 어떤 직원이 AI를 가장 많이 사용하는지 보여주는 내부 리더보드(leaderboard)를 운영하기도 했지만, 급증하는 AI 비용으로 인해 해당 정책을 재고하게 되면서 이를 폐지했습니다.

많은 기술 기업들이 소위 토큰맥싱 (tokenmaxxing)을 통해 생산성을 높인다는 명목으로 직원들에게 AI 사용을 독려해 왔습니다. 하지만 Uber의 CTO는 이러한 정책과 성공적인 제품 출시 사이에는 아무런 연관성이 없다고 말했습니다. 또한 에이전트 (agents)가 업무를 넘겨받고 AI 제공업체들이 구독 모델에서 토큰당 과금 모델 (per-token models)로 전환함에 따라, 비용이 너무 커져서 기업들이 불과 몇 주 만에 연간 예산을 모두 소진하고 있습니다. 이것이 Amazon이나 Microsoft와 같은 거대 기술 기업들에게는 즉각적인 문제가 아닐 수도 있지만, 그 외 대부분의 기업들에게는 지속 불가능한 상황입니다.