대형 연구소들은 자신들의 모델에 대해 이상적인 버전의 벤치마크(Benchmark) 수치를 발표합니다:

• bf16 정밀도 (Full floating-point)
• 안전 계층(Safety layers)이 전혀 적용되지 않은 상태
• (자체 보고된 벤치마크의 경우) 자신들의 아키텍처에 최적화된 커스텀 프롬프팅 (Custom prompting)
• (자체 보고된 벤치마크의 경우) 누구도 독립적으로 검증할 수 없는 독점적 테스트 세트 (Proprietary test sets)

그 후 사용자들에게는 다음과 같은 모델을 배포합니다:

• fp4 또는 그 이하의 양자화 (Quantization, 공격적인 정밀도 감소)
• 그 위에 중첩된 강력한 안전 개입 (Safety interventions)
• 50-60% 이상의 성능 저하 (벤치마크에서 90%였던 수치가 30-45% 범위로 하락)

이것이 바로 사용자들이 모델 출시 후 12주가 지나면 모델의 능력이 저하되었다고 보고하는 이유입니다. 처음 12주 동안은 보고된 대로 모델이 제공되어 독립적인 벤치마크 결과가 최적의 조건에서 보고되지만, 그 이후에는 비용 절감을 위해 성능 저하를 도입합니다. 이는 기능적으로 사기(Fraud)입니다. 90%로 벤치마크된 모델이 30-45%로 배포된다면 이는 완전히 다른 제품입니다.

대형 AI 연구소들이 이러한 사기를 저지르는 이유는 다음과 같습니다:

• 공개를 강제할 규제 프레임워크(Regulatory framework)의 부재
• 사용자가 실제 성능을 쉽게 검증할 수 없음
• 연구소들이 내러티브를 통제함 (성능 저하를 "책임감 있는 AI (Responsible AI)"라고 부름)
• 폐쇄형 가중치(Closed weights)와 독립적 평가를 위한 막대한 비용으로 인해 독립적인 감사가 불가능함 (예를 들어, artificial analysis 벤치마크 하에서 fable 5를 평가하는 비용은 5,000달러를 상회함)
• 배포 전 표준화된 테스트 요구 사항이 없음

이러한 종류의 사기 행위를 방지하고 규제하기 위해 오픈소스(Open source)가 중요한 이유는 다음과 같습니다:
오픈소스로 공개된 AI 가중치는 다음과 같이 출시됩니다:

• 전체 bf16 가중치
• 필수적인 안전 계층만 사전 적용됨
• 벤치마크와 배포 사이의 숨겨진 성능 저하가 없음

또한 오픈소스는 감사를 위해 모두에게 신뢰할 수 있고 공개된, 공정한 벤치마킹 및 평가 방법을 제공합니다. 이것이 2026년 3분기 현재, artificial analysis와 같은 벤치마크가 기업 연구소의 자체 보고된 벤치마크보다 사용자 및 더 넓은 AI 연구 커뮤니티로부터 선호되는 이유입니다.

해결책: 대형 기업 AI 연구소의 모델 배포 과정 중 FTC 또는 기타 AI 제품 규제 기관에 의해 무작위로 시점이 정해지는 의무적 재벤치마킹 (Mandatory randomly timed re-benchmarking)이 필요합니다. 규제 기관은 더 넓은 AI 연구 커뮤니티에서 인정받는 오픈소스 및 공정한 벤치마크(예: artificial analysis 벤치마크)를 사용하여 무작위 시점에 사용자 대상 AI 제품을 재벤치마킹해야 하며, 해당 기간이 끝날 때마다 대기업이 재벤치마킹 비용을 지불하도록 요구해야 합니다. 이를 통해 대형 기업 AI 연구소들이 자신들의 모델을 광고할 때 사용한 벤치마크에 대해 책임을 지게 할 수 있습니다. 기업 AI 연구소에 의한 실제 사용자 대상 제품의 제3자 벤치마킹:

• fp4 양자화 (quantized) 버전
• 모든 안전 계층 (safety layers)이 적용된 상태
• 광고된 버전과 동일한 벤치마크

연구소는 평가 (evals) 비용을 부담합니다 (그들은 이를 감당할 능력이 있습니다; 주요 모델 출시마다 이를 위한 예산이 배정됩니다).

• 비용: 평가 실행 1회당 약 $5,000 (artificial analysis 벤치마크 상의 Anthropic Fable 5 모델 기준)
• 주요 모델의 경우: 다양한 벤치마크에 걸쳐 1020회 실행 시 = $50,000$100,000
• 연구소는 이미 훈련에 수백만 달러를 지출하고 있으므로, 이는 그에 비해 무시할 만한 수준입니다.

병렬 비교 결과 공개:

• "광고된 bf16 베이스라인: 90%"
• "실제 fp4 + 안전 계층이 적용된 출시 버전: 35%"
• 이 격차는 가시화되고 표준화됩니다.

독립적인 감사 기관이 평가를 수행하고 서비스에 대한 대가를 받습니다.

• 연구소 자체가 아닌 독립 기관이 수행
• 사용자에게 제품이 출시되기 전과 출시 중에 결과를 공개
• 책임성을 창출하고 사용자를 사기로부터 보호합니다.

이 해결책이 문제를 해결하는 이유:

• 사용자는 자신이 실제로 무엇을 얻게 되는지 알 수 있습니다.
• 연구소는 35%의 성능을 출시하면서 90%의 성능을 주장할 수 없습니다.
• 성능 저하가 경쟁 압력으로 작용합니다 (더 나은 엔지니어링을 강제함).
• 사기 행위가 가시화되고 측정 가능해집니다.
• 규제 기관이 활용할 수 있는 구체적인 수치를 갖게 됩니다.

대형 연구소들은 이 격차가 더 많은 이익을 창출하는 그들의 '더러운 비밀'이기 때문에 자발적으로 이를 수행하지 않을 것입니다. 이 사기는 오직 규제를 통해서만 방지될 수 있습니다.

참고를 위해, 아래는 FTC(Federal Trade Commission, 연방거래위원회)가 정의하는 사기 행위입니다: FTC는 사기를 소비자를 오도하는 기만적이거나 불공정한 관행으로 정의합니다. FTC 사기의 핵심 요소: 1-기만적 관행 (Deceptive practices): 제품이나 서비스에 대해 허위 또는 오도하는 주장을 하는 것을 포함합니다. FTC는 다음과 같은 경우 해당 주장이 기만적이라고 간주합니다: - 제품의 특성, 이점, 가격 또는 출처에 관한 중요한 사실을 왜곡하는 경우 - 합리적인 소비자가 평소라면 내리지 않았을 구매 결정을 내리도록 오도할 가능성이 있는 경우 - 실제 소비자 피해(재정적 손실 또는 기타 손해)를 유발하는 경우. FTC는 기업이 기만할 의도가 있었을 것을 요구하지 않습니다; 과실적이거나 무모한 허위 진술도 이에 해당합니다. 또한 소비자가 실제로 피해를 입었을 것을 요구하지도 않습니다; 해당 관행이 소비자를 오도할 가능성이 있다면 그것으로 충분합니다. 진정한 AI 안전(AI safety)은 기업 연구소와 그 지도부에게 그들의 행동에 대한 책임을 묻는 것에서 시작됩니다. 사용자가 자신의 돈과 유한한 삶의 시간, 그리고 정신적 건강을 희생하며 더 낮은 등급의 제품을 구매하도록 강요하고, '책임감 있는 배포 (responsible deployment)'나 '효과적 이타주의 (effective altruism)'와 같은 화려한 언어로 그 사기를 덮어버리는 방식이 아닙니다. submitted by /u/Solid-Wonder-1619 [link] [comments]