가격은 비용이 아니다: 우리는 LLM의 비용을 측정하기 위해 잘못된 변수를 사용하고 있다

사전 공개: 이것은 저의 글(아래에 링크를 첨부하겠습니다)이지만, 아무것도 클릭하지 않고도 여러분이 허수아비 공격(strawman)이나 철강인 공격(steelman)을 할 수 있도록 여기서 논거를 제시합니다.

주장 1: 토큰당 가격(per token price)은 LLM/추론 모델(reasoning models)이 수행한 작업의 비용을 측정하기에 잘못된 지표입니다. 사용자는 출력/결과가 맞았는지 여부와 관계없이 토큰당 가격을 지불합니다.

주장 2: 실제 작업은 긴 체인 프로세스(long chain processes) 내에서 이루어집니다. (LLM을 통해 실행되는) 에이전트(agents)의 신뢰도는 체인 길이에 비례하여 기하급수적으로 떨어집니다. 단계별 정확도가 95%라면, 5단계 프로세스의 프로세스 신뢰도는 77%, 10단계는 60%, 20단계 프로세스는 36% 미만으로 변환됩니다. 이 계산은 오류가 독립적일 때 성립하는데, 실제 세계의 프로세스에서는 그렇지 않으므로, 실제 세계의 신뢰도는 이보다 더 낮습니다. 이는 사용자가 지불하는 토큰 가격 위에 검증 세금(verification tax)을 추가합니다. 여러분은 인간의 개입(human intervention), 추론 시간 연산(inference time compute, 인간의 개입보다 신뢰도가 낮음)을 통해 검증하거나, 신뢰도 저하를 감수해야 합니다.

논거: 1번과 2번을 인정한다면, LLM/에이전트를 통해 의미 있는 작업을 비용 효율적인 방식으로 안정적으로 자동화할 수 없습니다. 왜냐하면 이것은 경제학의 문제가 아니라 아키텍처(architecture)의 문제이기 때문입니다 (LLM은 충실하게 추론할 수 없으며, 이것이 저의 이전 에세이 주제였습니다).

링크: https://open.substack.com/pub/mauhaq/p/price-is-not-cost?r=7eoi8&utm_campaign=post-expanded-share&utm_medium=web
/u/Sensitive_Air_5745 에 의해 r/OpenAI 에 제출됨
[link] [comments]