와, 진짜 대박이네요.

지난 몇 년 동안 AI 연구소(AI lab)가 오픈 웨이트 (open-weight) 모델을 출시할 때마다, 개발자 커뮤니티는 마치 누군가 우리 지하실로 자유를 공중 투하해 준 것처럼 반응했습니다.

“내 RTX로 이걸 돌릴 수 있을까?”

한동안 그것은 꿈과 같았습니다.

로컬에서 실행되는 프론티어 (frontier)급 모델. API 비용 없음. 기업의 게이트키퍼 (gatekeeper) 없음. 하룻밤 사이에 워크플로우를 망가뜨리는 정체불명의 모델 업데이트 없음. 오직 당신과 당신의 GPU, 그리고 우리가 사랑하는 llama.cpp뿐이었죠.

하지만 저는 우리가 종착지를 오해하고 있었던 게 아닌가 하는 생각이 들기 시작했습니다.

오픈 웨이트 (open weights)의 미래는 개별 개발자들이 집에서 점점 더 강력해지는 모델을 실행할 수 있도록 돕는 것이 아닐지도 모릅니다. 어쩌면 그것은 다른 누군가가 산업적 규모 (industrial scale)로 모델을 실행하는 데 필요한 인프라 (infrastructure)를 구축하도록 돕는 것에 관한 것일 수도 있습니다.

두 개의 프론티어, 두 개의 전략

현재 서구권과 동양권의 AI 프론티어 (frontiers)는 매우 다른 방향으로 움직이고 있는 것으로 보입니다. 서구권 프론티어는 점점 더 그 괴물을 담장 안의 정원 (walled garden) 안에 가두는 것에 집착하고 있습니다.

가장 강력한 모델들은 API, 구독, 제품 등급, 안전 평가 (safety evaluations), 지역 제한, 사용 정책, 그리고 이번 주에 새로 등장한 어떤 새로운 컴플라이언스 (compliance) 의식 뒤에 숨어 있습니다.

반면, 여러 동양권 AI 연구소들은 그에 가까운 질문을 던지고 있는 듯합니다.

“우리가 괴물을 풀어놓고 생태계가 그것을 어떻게 먹여 살릴지 스스로 알아내게 만든다면 어떤 일이 벌어질까?”

이 차이는 중요합니다.

“위험한 모델” 사가는 점점 이상해지고 있다

강력한 오픈 웨이트 (open-weight) 모델이 등장할 때마다 똑같은 논쟁이 되풀이됩니다.

너무 위험하다.
멀웨어를 작성할 수 있다.
블라 블라 블라... 지루하네요.

물론, 그러한 위험은 실재합니다.

하지만 더 깊이 들여다보면, 일부 대중적 담론은 안전 분석 (safety analysis)이라기보다는 전략적 공포 조장 (fearmongering)처럼 들리기 시작합니다.

왜냐하면 편리한 결론은 거의 항상 동일하기 때문입니다.

모델이 위험하므로, 따라서 모델은 그것을 만든 회사의 통제 하에 있어야 한다.

와, 정말 대단하네요. 회사 입장에서는 참 운이 좋군요.

그렇다면 왜 거대한 모델을 무료로 공개하는가?

이 부분이 저를 계속 괴롭혔던 지점입니다.

프런티어 모델 (Frontier models)을 훈련하는 데는 터무니없이 막대한 비용이 듭니다. 그런데 그 모든 돈을 쓰고 나서, 가중치 (weights)를 공개한다고요?

왜일까요?

저의 샤워 생각 (shower thought)은 이렇습니다:

모델은 무료가 될 수 있어도, 컴퓨팅 (compute)은 결코 무료가 되지 않는다.

이것은 비즈니스 모델을 완전히 바꿔 놓습니다.

목표는 AI의 AWS가 되는 것일지도 모른다

어느 연구소(lab)가 매우 유능한 오픈 웨이트 (open-weight) 모델을 출시한다고 가정해 봅시다. 즉시 개발자들이 이를 가지고 실험을 시작하고, 연구자들이 벤치마크 (benchmark)를 수행합니다.

그러면 돈이 계속해서 흘러 들어옵니다:

클라우드 제공업체들이 이를 지원하기 위해 경쟁합니다.
호스팅 플랫폼들이 이를 광고합니다.
엔터프라이즈 벤더들이 이를 기반으로 프라이빗 배포 (private deployments) 환경을 구축합니다.
컨설팅 회사들이 통합 패키지 (integration packages)를 판매하기 시작합니다.

갑자기, 생태계 전체가 해당 연구소의 모델을 위한 인프라를 구축하기 위해 돈을 쓰기 시작합니다.

그러한 오픈 웨이트 출시는 다음과 같은 수요를 창출합니다:

• 추론 (inference) 수요,
• 최적화된 커널 (optimized kernels) 수요,
• GPU 클러스터 (GPU clusters) 수요,
• 관리형 엔드포인트 (managed endpoints) 수요,
• 미세 조정 (fine-tuning) 수요,
• 모니터링 (monitoring) 수요,
• 엔터프라이즈 지원 (enterprise support) 수요,
• 그리고 특화된 배포 (specialized deployments) 수요.

당신의 모델 제품군을 중심으로 충분한 인프라가 조직되면, 당신은 영향력 (leverage)을 얻게 됩니다. 그것은 완전히 다른 게임입니다. 그리고 솔직히 말해서, 모든 계층을 스스로 소유하려고 노력하는 것보다 더 지속 가능할 수도 있습니다.

인프라 보조금으로서의 오픈 웨이트

서구의 프런티어 연구소들은 종종 거의 모든 것을 내부적으로 처리하려고 시도합니다.

모델을 훈련하고 호스팅합니다.
API와 소비자용 앱을 만듭니다.
엔터프라이즈 제품과 에이전트 플랫폼을 구축합니다.
말 그대로 무엇이든 말이죠.

하지만 세상에, 그것은 감당해야 할 영역 (surface area)이 너무나 넓습니다. 오픈 웨이트 전략은 그 부담의 일부를 분산시킵니다. 가능한 모든 배포 구성을 구축하기 위해 비용을 지불하는 대신, 연구소는 가중치를 공개하고 시장이 이를 탐색하게 둘 수 있습니다.

클라우드 기업들은 서빙 (serving) 방법을 찾아냅니다.
스타트업들은 특화된 인터페이스를 구축합니다.
개발자들은 통합 (integrations) 환경을 만듭니다.

그것이 이 전략의 진짜 천재적인 부분일지도 모릅니다. 오픈 웨이트는 미래의 컴퓨팅 수요를 위한 보조금 (subsidy) 역할을 할 수 있습니다.

모델은 무료다. 클러스터는 그렇지 않다.

이 지점에서 로컬 AI (local AI)의 꿈은 물리 법칙과 충돌하기 시작합니다.

모델은 법적으로 다운로드할 수 있어도, 실제로는 접근이 불가능할 수 있습니다.

아키텍처가 희소 활성화 (sparse activation)나 영리한 효율성 트릭을 사용할 수도 있지만, 전체 시스템은 여전히 엄청난 메모리, 고대역폭 인터커넥트 (high-bandwidth interconnects), 특화된 커널 (specialized kernels), 분산 추론 (distributed inference), 그리고 고통스러운 수준의 엔지니어링을 요구할 수 있습니다.

물론, 누군가는 양자화 (quantize)를 할 것입니다.

누군가는 항상 양자화를 합니다.

애니메이션 아바타를 사용하는 마법사 같은 누군가가 IQ1_S_DAMN_NEAR_BINARY 버전을 업로드할 것입니다.

그리고 기술적으로는, 아마도 실행은 될 것입니다. 초당 0.4 토큰 (0.4 tokens per second)의 속도로 말이죠. CPU에서 레이어의 절반을 사용하면서, 당신의 RAM이 죽여달라고 애원하는 동안에 말입니다.

축하합니다, 형씨. 이제 당신은 주권을 가졌군요.

가중치(weights) 측면에서는 무료지만,
현실 측면에서는 지옥처럼 비쌉니다.

동부 연구소들은 바보가 아니다

오픈 웨이트 (open weights)를 공개하는 연구소들이 단순히 자본주의가 어떻게 돌아가는지 잊어버렸다고 가정하는 것은 순진한 생각입니다. 오픈 공개는 고객 확보 전략 (customer-acquisition strategy)일 수 있습니다.

개별 개발자뿐만 아니라, 결국 그 개발자들에게 서비스를 제공하게 될 인프라 제공업체들을 위한 전략이기도 합니다.

오늘:

"여기 가중치가 있습니다."

내일:

"여기 공식적으로 지원되는 배포 스택 (deployment stack)이 있습니다."

나중에는:

"여기 우리의 프리미엄 모델 라이선스, 엔터프라이즈 런타임 (enterprise runtime), 인증된 호스팅 네트워크, 그리고 수익 공유 계약이 있습니다."

마지막 생각

오픈 웨이트는 여전히 가치가 있습니다.

투명성을 개선하고, 연구를 가능하게 하며, 폐쇄형 플랫폼에 대항하는 경쟁 압력을 만들어냅니다. 무엇이든 간에...

가중치는 무료일 수 있습니다.
미래의 청구서(invoices)는 그렇지 않을 것입니다.

그러니 아니요, AI 오픈 웨이트의 종착지는 더 이상 당신의 RTX 쓰레기통 안에 들어맞지 않을 수도 있습니다.

그리고 배경에서 ComfyUI를 돌리고 있는 당신 어머니의 지하실에도 절대 들어맞지 않을 것입니다.

클라우드에 오신 것을 환영합니다, GPU 서민들이여.