토큰 인플레이션: 부정직한 제공자가 대규모 언어 모델 (LLM) 사용료를 과다 청구하는 방법
요약
LLM의 토큰당 과금 방식에서 제공자가 토큰 수를 조작하여 과다 청구할 수 있는 취약성을 분석합니다. 현재의 감사 방식은 제공자가 제공하는 데이터에 의존하는 '신뢰의 역설' 문제를 안고 있으며, 이를 해결하기 위해 암호학적 증명 등의 새로운 검증 체계가 필요함을 제안합니다.
핵심 포인트
- 토큰당 과금 모델의 감사 불가능성 및 신뢰의 역설 지적
- 숨겨진 추론 사용량을 최대 1,469%까지 부풀릴 수 있음 확인
- 토큰화 모호성을 이용한 50.85% 수준의 과다 보고 가능성 제시
- 실행 증명 및 암호학적 증명 등 새로운 검증 방식의 필요성 강조
토큰당 과금 (Per-token billing) 방식은 현재 상용 대규모 언어 모델 (LLMs)의 표준 가격 모델이며, 따라서 보고된 토큰 수의 정직함은 사용자가 지불하는 금액에 직접적인 영향을 미칩니다. 우리는 이러한 방식의 과금이 설계상 감사 (audit)하기 어렵다는 점을 보여줍니다. 제공자는 지식 재산권 (IP)을 보호하고, 탈옥 (jailbreaks)을 완화하며, 사용자 개인정보를 보존하기 위해 모델, 토크나이저 (tokenizer), 그리고 실행 과정을 숨기는데, 이는 감사자가 제공자가 제공하는 증거만을 검사할 수 있음을 의미합니다. 따라서 감사는 제공자 자신의 보고서에 대한 일관성 검사로 축소됩니다. 우리는 이를 신뢰의 역설 (trust paradox)이라고 부릅니다. 모든 감사는 어떤 산출물을 신뢰해야 하지만, 현재의 프레임워크는 제공자가 조작할 가장 강력한 이유를 가진 산출물들을 정확히 신뢰하고 있습니다. 우리는 최근의 세 가지 토큰 감사 프레임워크를 연구하였으며, 일반적인 상업적 역량을 가진 제공자가 청구된 토큰 수를 체계적으로 부풀릴 수 있음을 보여줍니다. 가장 허용 범위가 넓은 설정에서, 숨겨진 추론 (reasoning) 사용량은 탐지되지 않고 평균 1,469%까지 부풀려질 수 있습니다. 현재의 최첨단 추론 가격을 기준으로 할 때, 이는 동일한 질의에 대해 100달러의 정직한 청구서를 약 1,569달러의 청구서로 바꿉니다. 사용자가 전체 추론 문자열을 볼 수 있는 경우에도, 토큰화 (tokenization)의 모호성만으로도 탐지 임계값 미만에서 50.85%의 과다 보고가 여전히 가능합니다. 이러한 결과는 문제가 특정 감사 도구에 있는 것이 아니라, 증거가 피감사자로부터 나오는 모든 감사 방식에 있음을 시사합니다. 정직한 과금 체계를 복구하려면 보고된 토큰 수를 신뢰할 수 있는 실행 증명 (trusted execution attestation), 추론의 암호학적 증명 (cryptographic proofs of inference), 또는 제3자 재실행 (third-party re-execution)과 같이 제공자가 통제할 수 없는 증거와 연결하는 검증이 필요할 것입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기