단독: Databricks, 통제 불능인 AI 비용 문제를 겨냥하다

Databricks는 고객들이 한 달 만에 광범위한 AI 비용으로 수천만 달러를 실수로 지출했다는 사실을 발견한 후, 기업들이 AI 비용을 제한할 수 있도록 돕는 새로운 도구들을 출시하고 있습니다.

**중요한 이유: **AI 에이전트 (AI agents)로 인해 기업용 소프트웨어 비용을 예측하기가 점점 더 어려워지고 있으며, Databricks는 기업들이 비용을 통제하기 위해 사용하는 계층 (layer)이 되고자 합니다.

**전체적인 그림: **인간의 감독 없이 모델과 자율적으로 상호작용하는 AI 에이전트의 부상은 AI 사용량을 증가시키고 기업들이 예산을 초과 지출하도록 강요하고 있습니다.

전통적인 클라우드 비용 관리 도구들은 종종 피해가 발생한 후에야 과다 지출을 알립니다.

Databricks의 공동 창립자인 Patrick Wendell은 Axios와의 인터뷰에서 자사의 새로운 도구가 기업들이 토큰 최대화 (token maxing)에서 "가치 최대화 (value maxing)"로 전환하는 데 도움이 되기를 바란다고 말했습니다.

**그들의 발언: **Wendell은 AI 지출이 거의 없거나 아예 없던 기업들이 한 달에 실수로 수천만 달러를 지출하는 것을 목격했다고 말합니다.

"우리는 분명히 수백만 달러 규모의 실수를 목격했습니다,"라고 그는 덧붙였습니다.

Wendell은 AI 토큰 (AI token) 비용이 급여 및 기타 IT 비용에 이어 고객들 사이에서 세 번째로 높은 비용 항목에 진입하고 있다고 말했습니다. 이는 팀이 해결하기 위해 노력해 온 문제입니다.

**뉴스 동력: **새로운 Databricks 제품인 Unity AI Gateway에는 AI 지출 한도, "통제 불능 지출 (runaway spend)"을 방지하기 위한 보호 조치, 그리고 기업들이 여러 제공업체에 걸쳐 AI 비용을 관리할 수 있도록 설계된 권장 사항이 포함될 예정입니다.

이 게이트웨이 (gateway)는 가장 많은 토큰을 소모하거나 비싼 옵션이 필요하지 않은 작업에 대해 더 저렴한 모델을 추천할 수 있습니다.

이 도구는 개별 사용자 세션 (user sessions)을 모니터링하며, 이를 통해 AI 사용 효율성에 대한 피드백을 제공합니다. 여기에는 직원이 도구를 효율적으로 사용하지 않을 경우 직원의 액세스 권한을 제거하거나 더 저렴한 모델로 이동시키는 조치가 포함될 수 있습니다.

**확대 해석: **개별 AI 사용을 모니터링하는 것은 직원들에게 설득하기 어려운 과제일 수 있습니다.

Wendell은 기업이 직원의 활동을 비용 통제가 아닌 AI 학습 (AI training)에 사용할 때 반발이 보통 더 강하다고 주장했습니다.

"이 목적을 위해 우리가 필요로 하는 데이터의 양은 상대적으로 적으며, 이는 오직 그들의 코딩 도구 (coding tools) 사용과 직접적으로 관련되어 있습니다,"라고 Wendell은 말했습니다.

**결론 (The bottom line): **더 나은 비용 통제 (cost controls)는 기업들이 AI 청구 금액을 억제하는 데 도움을 줄 수 있지만, 기업용 사용량의 빠른 성장에 의존하고 있는 모델 제공업체들에게는 압박이 될 수도 있습니다.

AI는 빠르게 움직이고 있습니다. Axios AI+가 당신을 앞서나가게 해줍니다. Axios.com에서 무료로 가입하세요.