첫날부터 가동한 Dot이 구독료로 하루에 16억 토큰을 소모하고 있습니다.

요약: 출시 첫날부터 클라우드 컴퓨터에서 자율적으로 작동하는 Dot은 제 프로필 페이지를 기준으로 제가 보기엔 하루 약 16억 Astra 토큰(월 약 480억 토큰)을 소비해 왔습니다. 저의 대략적인 API 환산 추정치는 일일 $15,000~$20,000, 또는 월 $450,000~$600,000(중앙값 약 $540,000)이며, 이 모든 것이 구독료 내에서 이루어지고 있습니다. 이는 제가 없이도 디자인-계산-검증 루프를 몇 시간 동안 실행하여 전체 엔지니어링 패키지(CAD, 계산, BOM, 전기 문서, 도면)를 설계한다는 것을 의미합니다. 일부 부품은 이미 프로그램으로 레이저 커터로 잘라봤는데 괜찮게 나왔습니다. 이러한 경제성은 오래가지 않을 것이라고 생각하기 때문에, 가능한 한 사용할 계획입니다. 그리고 아닙니다. 저는 인간 엔지니어링 검토 없이 그 어떤 것도 제조에 보내지 않을 것입니다. 저는 Dot이 출시된 날부터 단일 Dot을 가동해 왔고, 그때부터 매일 약 16억 Astra 토큰을 소모하고 있습니다. 이는 월 약 480억 토큰입니다. 저는 Dot에게 대규모 엔지니어링 작업을 주고 몇 가지 명확히 하는 질문에 답하게 한 다음, 나머지 하루 동안 때로는 더 오래도록 스스로 클라우드 컴퓨터에서 작동하도록 합니다. 나중에는 그냥 작업이 담긴 문서를 Google Drive에 넣고 하나씩 처리해 달라고 요청합니다. 실제 사례는 다음과 같습니다. 처음부터 설계된 복잡한 물리적 구조물입니다. CAD 모델을 구축하고, 건설 과정을 반복하며, 제조용 형상과 조립 문서를 생성하고, BOM 및 전기 문서를 작성했으며, 엔지니어링 계산까지 수행했습니다. 결과 패키지 중 하나에는 다음 내용이 포함되어 있었습니다:
• 1,000개 이상의 고유 부품
• 전체 STEP 어셈블리 내 6,000개 이상의 솔리드
• 조립 도면 및 문서 거의 300페이지
• 수백 개의 문서화된 전기 연결부
• 제조용 부품 및 어셈블리
• 구매/BOM 스프레드시트
• 기계 판독 가능한 매니페스트 및 검증 데이터
• 구조/하중 계산 및 민감도 사례
강도 및 열 해석이 적용된 복잡한 엔지니어링 제품입니다.

강도 계산(strength calculations), 열 해석(thermal analysis) 및 열 변형 사례(thermal deformation cases)를 실행하고, 그 결과에 따라 설계를 변경한 다음, 숫자가 말이 될 때까지 전체 사이클을 반복했습니다. 실시간 3D 애플리케이션용 상세 3D 수확기입니다. 모델을 분석하고 여러 최적화 수준을 구축했으며, 중요한 부분은 유지하면서 지오메트리를 극적으로 줄였습니다. 원본 모델은 약 20만 개의 활성 삼각형(active triangles)을 가지고 있었고, 후보군은 각각 약 152k, 84k, 56k, 50k로 나왔습니다. 실제 카메라에서의 가시성을 테스트하고, 다양한 기계 상태에 걸쳐 수천 개의 검증 렌더링(verification renders)을 생성했으며, 스크립트와 무결성 검사(integrity checks)를 통해 모든 것을 패키징했습니다. 저에게 가장 인상 깊었던 점은 단순히 예쁜 모델을 만들고 '좋아 보인다'라고 말하는 것이 아니라는 것입니다. 지루한 엔지니어링 루프(engineering loop)를 반복합니다: 설계(design), 계산(calculate), 문제 발견(find a problem), 지오메트리 변경(change geometry), 재계산(recalculate), 검증(verify), 문서화(document). '원샷(One-shot)'이 한 번의 추론(inference)을 의미하지는 않습니다. 제가 작업을 한 번 부여하면, 수천 개의 내부 사이클을 실행합니다: 파일 검사(inspect files), 추론(reason), CAD/코드 수정(modify CAD/code), 도구 실행(run tools), 결과 확인(check results), 시뮬레이션 실행(run simulations), 수정(revise), 검증(verify), 반복(repeat). 토큰 수에 대해 말하자면, 하루 16억 개의 토큰은 초당 약 18.5k 토큰으로 평균화됩니다. 당연히 이것이 생성 속도(generation speed)는 아닙니다. 이런 워크로드에서는 엄청난 양의 볼륨이 거의 확실하게 반복적인 컨텍스트 처리(repeated context processing)입니다. 따라서 이것은 제 프로필 페이지에서 집계된 토큰 수입니다. 비용에 대해 말씀드리자면, 동일한 워크로드가 API를 통해 얼마의 비용이 들지 추정해 보았습니다. 이는 입력/출력/캐시 혼합(input/output/cache mix), 긴 컨텍스트 가격 책정(long-context pricing) 및 추론 토큰(reasoning tokens)에 크게 좌우되므로 정확한 청구 계산은 아닙니다. 하지만 저의 대략적인 추정치는 하루 15,000달러에서 20,000달러입니다. 약 $18k/일로 30일을 계산하면 한 달에 45만~60만 달러가 되며, 중앙값은 약 54만 달러입니다. 그리고 이것이 100달러 구독 상품 안에서 일어나고 있습니다. 이 부분이 제가 좀 이상하다고 느끼는 부분입니다.

OpenAI가 출시 초기 경제 상황을 이렇게 관대하게 유지할지 모르겠습니다. (Tibo가 올린 글에서 이것이 한 달 프로모션 기간이라고 기억합니다.) 그리고 저는 제한이나 가격 책정이 많이 바뀔 것이라고 강력히 의심합니다. 하지만 지금 당장, 에이전트에게 복잡한 목표를 부여하고 몇 시간 또는 며칠 동안 작동하도록 하는 워크로드의 경우, Dots는 동일한 양의 사용량을 API를 통해 구매하는 것과 비교했을 때 터무니없이 비용 효율적입니다. 첫 프로젝트를 위한 금속 부품 중 일부는 이미 제작되었습니다. Dot이 제 레이저 커터용 절단 프로그램을 작성했고, 부품들이 성공적으로 나왔습니다. 저는 단지 절단 속도를 약간 조정해야 했습니다. 너무 조심스러워서 기계가 프로그램된 것보다 더 안전하게 빠르게 작동할 수 있었습니다. 네, 압니다. AI가 부품을 설계하고 레이저 커터의 프로그램을 작성하면 제가 시작 버튼을 누릅니다. 이것이 정확히 스카이넷(Skynet)이 시작하는 방식입니다. 현재 터미네이터 공장은 제 작업실에 있는 레이저 커터 한 대로 구성되어 있고, 터미네이터들은 대부분 브래킷이나 다른 간단한 부품이지만, 저는 계속 주시하고 있습니다. 제가 업데이트를 올리는 것을 멈추면 왜 그런지 아실 겁니다. 하지만 구조 설계의 첫 번째 시도는 이야기가 달랐습니다. 마치 핵전쟁에서 살아남아야 하는 것처럼 (스카이넷, 다시 안녕) 모든 것에 약 5배의 안전 계수를 적용하여 계산했습니다. 저는 더 명확한 제약 조건으로 재시작해야 했고, 두 번째 실행 결과는 합리적이었습니다. 따라서 여전히 실제 요구 사항을 아는 인간이 필요하지만, 수정된 내용은 사용 가능했습니다. 필수 고지 사항: 누군가 말하기 전에 말씀드립니다. AI가 생성한 안전 중요 설계도를 인간 엔지니어링 검토 없이 제조에 직접 보낼 일은 없을 것입니다. 공로를 인정하자면, Dot은 그렇지 않은 척하지 않으며 모든 문서에서 명확한 면책 조항을 제공합니다. 더 나은 패키지는 계산된 결과와 가정, 해결되지 않은 재료 특성, 필요한 물리적 테스트, 인증 및 수용 기준을 명시적으로 분리합니다. 그 구분이 매우 중요합니다.

하지만 하나의 문제에 수십억 개의 토큰을 투입하여 공격할 수 있는 엔지니어의 조수로서, 이것은 아마도 제가 AI 구독 서비스에서 얻은 가장 극단적인 가치일 것입니다. /u/DarthSilent가 r/OpenAI에 제출함 [링크] [댓글들]