이런 과금은 별도로 협의한 계약 없이는 존재해서는 안 됨. 월 20달러 같은 정액제로 구독하고, 서비스나 내 실수로 그달 요금을 날릴 위험을 감수하거나, 편의에 따라 월중에 20달러를 더 내는 식으로 선택할 수 있어야 함.
컴퓨터가 청구를 “통제”하다가 폭주할 수 있다는 건, 잘못된 유인 구조로 가득한 서비스를 멀리해야 한다는 뜻임.
월별 지출 요약과 예상액도 정말 유용할 것 같음. 연간 일정 금액을 쓰기로 계약해도 12개월이 아니라 6개월 만에 소진할 수 있으니, 현재 지출 추세를 자동으로 알려주면 좋겠음.
고객 성공 담당자에게 막연한 경고는 받아봤지만, 실제로 어떤 일이 벌어지는지는 알 수 없었음. 토큰이나 크레딧으로 금액을 추상화할수록 실제 돈으로 환산해 한도에 얼마나 가까워지는지 확인할 수 있어야 함.
1년을 쓸 예정이던 계약이 14일 뒤 소진된다는 사실을 5개월 차에야 알게 되고 싶지는 않음.
대기업들이 지출 상한을 추가하는 이유가 고객들이 가상 카드로 직접 해결하는 데 지쳤기 때문인지 궁금함.
우리 조직에는 매달 AI 지출 순위표가 있는데, 상위 10명 안에서도 사용액이 급격히 줄어드는 게 흥미로움. 늘 “이 많은 토큰으로 뭘 했을까?” 싶었는데, 답이 “별로 한 게 없을 수도 있음”이라니 생각해 볼 만함.
내가 압도적으로 토큰을 많이 쓰지만, 조직 내 다른 사람들이 요청한 실질적인 결과물을 만들고 있음.
지난 몇 달간 Claude의 한도는 오차가 몇 센트 정도로 정확해서 큰 문제라고 느끼지 않음. Gemini API 사용량도 비슷하게 정확함. LLM 비용 관리는 우리 GCP 환경 전체의 한도보다 훨씬 정확함.
거의 확실히 “순위표에 올라가기”가 목적일 것임.
갑자기 많은 서비스가 지출 상한을 추가하는 듯한데, 무엇이 달라진 건지 궁금함.
지출 상한을 제공하지 않는 행위는 불법이어야 함.
도박에도 지출 통제 장치가 있어야 할 텐데, 제대로 된 입법까지는 아직 갈 길이 멀어 보임.
적어도 고객은 직접 설정한 상한까지의 비용만 책임져야 함. 상한을 강제할 수단이 없다면 고객에게 무한정 청구할 권리도 없어야 함.
누군가 “이런 법이 있어야 한다”고 할 때는 거의 언제나 그런 법이 없어야 하는 경우임.
읽기 전용 API 키에서 어떻게 된 건지 400달러가 청구됐음. OpenAI에 문의했지만 답을 받지 못함. 완전히 같은 문제는 아니지만, 그래도 몹시 짜증 나는 일임.
원래는 지출 한도가 있었는데, 클라우드 업체들이 초과 과금을 당연한 관행으로 받아들이게 만들었음. 신용등급도 대기업이 모두를 착취하는 또 다른 수단임. 기본은 선불제이고, 원하는 경우에만 별도의 결제 수단으로 초과분을 낼 수 있어야 했음.
반대로, 클라이언트에서 API 호출을 자동화할 수 있다면 과금 상한도 자동화할 수 있지 않을까? 잠자는 동안에도 24시간 돌아가며 돈을 벌어주는 기계를 원한다면, 솔직히 AI 도입 동기 상당수가 그렇듯, 자동 차단 장치를 설치할 책임도 본인에게 있지 않을까?
많은 클라우드 서비스는 요금 구조가 복잡하거나 불투명해서 비용을 미리 알아내기가 어렵거나 불가능함. 특히 네트워크 외부 전송처럼 사용량 기반인 경우가 그렇고, 사용량 통계 갱신도 느려서 클라이언트 측에서 그런 차단 장치를 구현할 수 없는 경우가 있음.