나는 일주일 내내 Meta의 2분기(Q2) 수치를 응시해 왔고, 여전히 우리가 무언가 진짜 일어나는 것을 목격하고 있다는 느낌을 떨칠 수가 없다. 사람들이 나중에 되돌아보며 "그래, 그때가 바로 그 순간이었지"라고 말할 법한 그런 일 말이다.

내 눈을 사로잡았던 것들을 짚어보겠다.

Meta는 한 분기 만에 거의 모든 현금을 태워버렸다.

비유적인 표현이 아니다. "많이 썼다"는 뜻도 아니다. 이 회사는 전년 대비 28% 증가하여 예상치를 상회한 608억 달러의 매출을 기록했지만, 아무도 신경 쓰지 않았다. 왜냐하면 그 장부의 반대편에는 자본 지출(Capital expenditures)이 단 한 분기에 311억 달러에 달했기 때문이다. 잉여 현금 흐름(Free cash flow)은 109억 달러(2024년 2분기)에서 7억 8,400만 달러로 급락했다. 이는 91%의 하락이다. 주가는 시간 외 거래에서 10% 하락했다.

나를 괴롭히는 부분은 지출 그 자체가 아니다. 모든 하이퍼스케일러(Hyperscaler)들이 이렇게 지출하고 있다. Google의 Alphabet은 방금 사상 첫 마이너스 잉여 현금 흐름인 59억 달러를 기록했다고 보고했다. 하지만 Google에는 Cloud(248억 달러, 82% 성장)가 있다. Amazon에는 AWS가 있다. Microsoft에는 Azure가 있다. Meta에는 광고가 있고, 그게 전부다.

Zuckerberg는 실적 발표(Earnings call)에서 이 점을 인정하며, 그들이 "상당한 프리미엄을 얹은 컴퓨팅(Compute) 제안을 많이 받고 있다"고 말했다. 이는 기본적으로 "우리는 컴퓨팅이라는 금광 위에 앉아 있지만, 아직 그것을 어떻게 팔아야 할지 방법을 찾지 못했다"라고 정중하게 말하는 것과 같다. Meta Compute 이니셔티브는 아직 초기 단계에 머물러 있다. Reality Labs는 또다시 46억 2,000만 달러의 손실을 보았다. 그리고 이 회사는 최근 El Paso에서 BlackRock과 140억 달러 규모의 데이터 센터 합작 사업을 발표했다. 여기서 BlackRock이 80%를 소유하고 Meta는 그 용량을 다시 임대하는 방식이다.

이것은 성장 스토리가 아니다. 현금 흐름 관리 스토리다. 그리고 시장이 이 이야기를 믿고 있는지 확신할 수 없다.

ByteDance의 Seed LLM이 이제 자동차로 향하고 있다.

이 소식은 눈에 잘 띄지 않았지만, 저는 이것이 중요하다고 생각합니다. OMODA(Chery가 지원하는 브랜드)가 동남아시아에서 '슈퍼 AI 콕핏 (Super AI Cockpit)'을 막 출시했으며, 그 내부에는 ByteDance의 Seed LLM이 구동되고 있습니다. 데뷔 모델은 인도네시아에서 열린 행사에서 공개된 OMODA 4입니다.

흥미로운 점은 다음과 같습니다: 이들은 차량 내부에 10개의 AI 에이전트 (AI agents)를 구동하고 있습니다. 의도 분해 (intent decomposition)를 위한 오케스트레이터 (Orchestrator) 에이전트, 한 번의 발화로 최대 7개의 음성 명령을 처리하는 차량 제어 에이전트 (Vehicle Control Agent), 그리고 내비게이션, 차량 사용 안내, 대화형 동반자, 실시간 정보 등을 아우르는 전체 생태계가 포함됩니다. 클라우드-엣지 (cloud-edge) 아키텍처 덕분에 신호가 끊겨도 작동하는데, 솔직히 이 부분이 대부분의 차량용 AI 시스템이 무너지는 지점입니다.

3단계 OTA (Over-the-Air) 진화가 계획되어 있어, 차량이 출시 시점에 고정된 상태로 배송되는 것이 아니라 시간이 지남에 따라 점점 더 똑똑해집니다. ByteDance의 Seed 모델은 자연어 (natural language) 측면, 즉 다회차 대화 (multi-round conversations), 모호한 의도, 심지어 즉석에서 AI 배경화면을 생성하는 기능 등을 처리합니다.

공정하게 말하자면, 아직 초기 단계입니다. 진짜 시험대는 이 10개의 에이전트가 실제로 실전에서 매끄럽게 협업하는지, 아니면 대시보드에 10개의 별개 앱을 붙여놓은 것처럼 느껴지는지 여부입니다. 하지만 이 움직임 자체는 LLM이 어디로 향하고 있는지를 말해줍니다. 화면을 벗어나 물리적 세계로 빠르게 진입하고 있다는 것입니다.

로컬 LLM을 위한 더 많은 VRAM이 필요하신가요? 누군가 당신을 위해 납땜해 줄 것입니다.

GPU Solutions라는 회사가 소비자용 그래픽 카드를 위한 하드웨어 VRAM 업그레이드를 제공하고 있습니다. 이들은 RTX 2080 Ti를 11GB에서 22GB로 업그레이드하는 것을 시연했는데, 이는 AAA 게임과 함께 상당한 크기의 로컬 모델을 실행하기에 충분한 용량입니다.

문제는 이것이 단순한 교체가 아니라는 점입니다. 마이크로 솔더링 (micro-soldering), 커스텀 VBIOS, 그리고 종종 PCB 상의 메모리 스트랩 저항 (memory strap resistor) 수정이 필요합니다. 드라이버 지원은 불안정할 수 있습니다. 이전의 RTX 3070 16GB 개조 모델은 소프트웨어가 해당 변형 모델을 인식하지 못했기 때문에 최신 드라이버와 작동하지 않았습니다.

그들은 UAE에 기반을 두고 있으며, 픽업 및 배송 비용으로 50 AED(약 $13.60)를 청구하고, 12일의 처리 기간과 90일의 보증 기간을 제공합니다. 실제 업그레이드 작업에 대한 가격은 명시되어 있지 않으며, 현재의 DRAM 부족 상황을 고려할 때 추가 비용(premium)이 발생할 것으로 예상됩니다.

그럼에도 불구하고, 이러한 서비스가 존재한다는 사실 자체가 로컬 AI 컴퓨팅(local AI compute)에 대한 수요를 말해줍니다. 사람들은 RTX 5090에 3,000달러를 쏟아붓지 않고도 집에서 LLM (대규모 언어 모델)을 실행하고 싶어 합니다. 그리고 만약 납땜(soldering)이 필요한 일이라면, 기꺼이 비용을 지불할 사람들도 있을 것입니다.

AI 에이전트의 정직함을 유지하기 위한 두 가지 매우 다른 접근 방식.

Factify와 Patronus AI는 모두 LLM 가드레일 (guardrails)을 판매하고 있지만, 문제에 접근하는 방향은 정반대입니다. Factify는 문서 거버넌스 (document governance)에 집중합니다. 즉, 에이전트가 행동하는 정보가 버전 관리(version-controlled)되고, 승인되었으며, 감사 가능(auditable)하다는 것을 인증하는 것입니다. 이를 AI 에이전트를 위한 컴플라이언스 (compliance, 준수) 인프라라고 생각하면 됩니다. 반면, Patronus AI는 시뮬레이션된 디지털 환경을 구축하고 에이전트가 어떻게 수행되는지 측정함으로써 에이전트를 스트레스 테스트 (stress-tests)합니다.

어느 쪽이 더 중요한지는 무엇을 구축하느냐에 달려 있습니다. 고객 계약이나 보험 청구를 처리하는 에이전트를 배포한다면, 아마도 Factify의 접근 방식을 원할 것입니다. 에이전트가 결정을 내렸을 때 정확히 어떤 정책 버전이 유효했는지 알아야 하기 때문입니다. 만약 개방형 작업(open-ended tasks)을 위해 모델을 파인튜닝 (fine-tuning)하고 있다면, Patronus의 시뮬레이션 테스트가 더 유용할 수 있습니다.

사실, 두 가지 접근 방식 모두 결국 필요해질 것입니다. 에이전틱 AI (Agentic AI)는 안전 도구(safety tooling)가 따라잡아야 할 만큼 빠르게 발전하고 있으며, 현재 안전 도구들은 여전히 뒤처져 있는 상태입니다.

또한 짧게 언급할 만한 내용은, 누군가 자신의 휴대폰에서 로컬 LLM을 Obsidian과 결합하여 가치 있는 생산성 향상 도구라고 불렀다는 점입니다. 전체 스택이 오프라인으로 작동합니다. 화려하지는 않지만 제대로 작동합니다. 저는 몇 달 동안 MacBook에서 llama.cpp를 실행해 오고 있는데, 솔직히 로컬 LLM 경험은 지난 1년 사이에 극적으로 좋아졌습니다. 초기 시절 이후로 아직 시도해보지 않았다면, 다시 한번 도전해 보세요.

이번 주는 여기까지입니다. Meta의 이야기는 계속해서 풀려나갈 것입니다. 그 현금 흐름 (cash flow) 수치는 단 한 분기 만에 되돌릴 수 있는 성격의 것이 아닙니다. ByteDance가 자사의 LLM을 자동차에 탑재하는 것은 주목할 만한 신호입니다. 그리고 AI를 위한 DIY GPU 개조 (mod) 씬은 이제 막 시작되었을 뿐입니다.

이 내용 중 유익한 것이 있었다면 공유해 주세요. 언제나 여러분과의 대화를 환영합니다.

실용적인 무언가를 만드셨나요? PayCalc를 확인해 보세요 — 한 가지 일을 제대로 수행하는 직관적인 도구입니다.