Starcloud는 이번 달에 11억 달러의 기업 가치로 1억 7,000만 달러를 유치했으며, 이는 Y Combinator 역사상 10억 달러 가치에 도달한 가장 빠른 기업입니다. Starcloud-2는 올해 말 출시될 예정이며, AWS와 Google Cloud를 포함한 고객들을 위해 궤도에서 상업용 클라우드 워크로드를 실행할 Blackwell B200을 탑재합니다. 이는 YC 기업으로서 매우 드문 일입니다! 올해 안에 90분마다 지구를 공전하는 랙(rack)에 실제로 비용을 지불하는 테넌트(tenant)들이 확보된 것입니다.

Google이 Project Suncatcher를 발표했을 때, 언론은 당연한 관점으로 접근했습니다. Google은 우주에 데이터 센터를 원하며, 자유 공간 광학(free-space optics)으로 연결된 81개의 TPU가 킬로미터 단위의 어레이를 형성할 것이라는 점입니다. 2027년 초까지 Planet과 함께 두 대의 테스트 위성이 발사될 예정입니다. 결코 지지 않는 태양광 에너지라니, 정말 완벽해 보입니다! 당장 시작합시다!

하지만 Google은 저궤도(low-earth orbit)의 방사선량을 시뮬레이션하기 위해 TPUs를 입자 가속기에 통과시켰고, 컴퓨팅 칩들은 무사히 통과했습니다. 다만 고대역폭 메모리(high-bandwidth memory)에서 오류 정정 코드(error-correcting code)가 포착하여 복구할 수 없는 수정 불가능한 오류가 발생했으며, Google은 이 발생률을 "추론(inference)에는 아마도 허용 가능한 수준(likely acceptable for inference)"이라고 설명했습니다.

무엇인가에 대해

이것은 일리가 있습니다! 제품 설명의 일곱 번째 문단을 작성하는 모델은 지나가는 우주선(cosmic ray)에 의해 한 레이어의 가중치(weight) 하나가 살짝 밀려났는지 여부에 대해 진정으로 신경 쓰지 않습니다. 출력값은 애초에 확률 분포(probability distribution)였으므로, 기계 내부의 약간의 노이즈는 이미 주사위를 던지고 있던 과정 속의 반올림 오차(rounding error)에 불과합니다.

정밀도(Precision)는 언제나 마케팅적 선택이었다

우리는 AI 시대 내내 사람들이 이러한 시스템이 정밀하다고 믿게 만들었으며, 궤도(orbit)는 그 부정확함을 물리적인 것으로 만들 뿐입니다. 이곳 지상에서는 그 모호함이 권위 있게 들리는 문구 속에 숨어 있습니다. 저 높은 곳에서는 그것이 메모리 셀의 1을 0으로 뒤집는 광자(photon)이며, 하류(downstream)의 모델은 해당 비트(bit)가 정확했을 때와 정확히 동일한 확신을 가지고 그 결과를 보고할 것입니다. 저는 얼마 전 실제 정책은 30일인데 고객에게 제품 반품 기한이 365일이라고 말한 지원 챗봇에 대해 쓴 적이 있습니다. 모든 대시보드는 녹색이었고, 모델은 명백히 틀렸음에도 완벽하게 균형을 잡고 있었습니다. 이제 동일한 확신을 상상해 보십시오. 다만 이번에는 그 오류가 하늘에 의해 주입된 것입니다.

챗봇에게는 누가 신경이나 쓰겠습니까. 문제는 누군가가 관대한 워크로드 (workload)를 관대하지 않은 작업에 연결하는 순간 시작됩니다. Starcloud는 데이터를 중계하는 대신 처리하기 위해 88,000개의 위성을 궤도에 올리겠다는 계획을 제출했으며, 88,000개의 궤도 가속기 (accelerators) 시장 어딘가에는 사양서(spec sheet)에 말하자면 '가끔 틀려도 괜찮을 정도'라고 적힌 하드웨어에 의존하여 무언가를 실행할 회사가 있을 것입니다. 문제는 단지 틀릴 수 있다는 것만이 아니라, 그 과정의 누구도 답변이 어느 랙 (rack)에서 왔는지 통보받지 않기 때문에 '조용히' 틀릴 수 있다는 점입니다. 이것이 클라우드 (cloud)가 제공하는 제품의 핵심 약속입니다. 즉, 하드웨어에 대해 고민할 필요가 없다는 것입니다. 하지만 하드웨어가 독자적인 의견을 갖기 시작하는 순간, 이 약속은 매우 유효한 약속이 아니게 됩니다.

부패는 이미 내부에서 진행 중입니다

만약 이 내용을

따라서 orbit은 새로운 거래를 제안하는 것이 아닙니다. 우리가 이미 맺었으나 대부분 논의하기를 거부했던 거래의 이득(gain)을 높이고 있는 것입니다. Google이 진정으로 새롭게 한 일은 그 조건을 명문화했다는 점입니다. 모든 지상 데이터센터(terrestrial datacenter)는 광고하지도 않고 완전히 측정할 수도 없는 수준의 침묵하는 부패(silent corruption)를 일정 비율로 겪고 있습니다. Google은 그 옆에 숫자를 적어 넣고, 워크로드 클래스(workload class)를 할당한 뒤, 이를 수용 가능한 것으로 정의했습니다. 이러한 솔직함은 이 업계에서 매우 드물기 때문에 경악스럽게 느껴질 수 있지만, 그래야만 하는 것은 아닙니다. 그러한 솔직함은 마치 FDA 라벨처럼 모든 출력물 옆에 스테이플로 찍혀 있어야 합니다.

우리는 이미 이 거래에 이름을 붙인 적이 있습니다

분산 시스템(Distributed systems)은 아주 오래전 현장에서 정확히 이와 같은 트레이드오프(trade-off)를 수행했으며, 우리는 심지어 그것에 이름까지 붙였습니다. 바로 최종 일관성 (Eventual consistency)입니다. 우리는 쇼핑 카트나 '좋아요' 카운터의 경우, 느린 정확한 정답보다 곧 나오는 적절한 정답이 더 낫다고 결정했고, 현대 인터넷의 절반을 그 결정 위에 구축했습니다. 이 내용은 이 블로그 전체의 핵심 주제와 매우 밀접하여 부제에까지 포함되어 있습니다. 하지만 모든 설계자(architect)가 한 번 배우면 절대 잊지 못하는 값비싼 교훈은, 어떤 시스템을 절대로 최종 일관성 모델로 만들어서는 안 되는지를 파악하는 것이었습니다. Amazon은 카탈로그는 최종 일관성으로 운영하지만, 결제 시스템은 단호하게 그렇지 않게 운영하며, 그 모든 기술적 예술(art)은 그 경계선이 정확히 어디에 있는지를 아는 것이었습니다.

궤도 메모리(orbital memory)의 결과는 동일한 갈림길이 단일 비트(bit) 수준까지 밀려 내려가, 방사선(radiation)이 결정하도록 맡겨진 것입니다. 정확성(Correctness)은 부분적으로 특정 위성이 그 주에 얼마나 많은 우주 방사선을 맞았는지에 따라 설정되는, 워크로드별 다이얼(per-workload dial)이 될 것입니다. 그리고 답을 생성하는 주체는 자신이 어떤 설정으로 실행되고 있었는지를 출력하지 않을 것입니다.

따라서 우주에서의 컴퓨팅(compute in space)에 대해 던져야 할 질문은 우리가 그것을 할 수 있느냐가 아니었습니다. 우리는 할 수 있습니다 (적어도 어느 정도는). 올해 첫 번째 유료 워크로드(paying workloads)가 등장할 것이며, 태양광 발전 논거는 실질적이고 진지하게 받아들일 가치가 있습니다. 질문은 메모리가 안정적으로 유지되지 않는 곳에서 어떤 답변이 돌아왔는지 누가 추적하느냐 하는 것입니다. 모델은 분명히 이를 자발적으로 알려주지 않을 것이기 때문입니다. 어떤 상황에서든 모델은 똑같이 자신감 있게 들릴 것입니다. 항상 그랬듯이 말입니다.

Google은 다행히도 우리에게 그 설정(setting)을 알려주었습니다. 여러분의 벤더(vendor)에게는 그들의 설정이 무엇인지 물어보십시오.

지능형 데이터 파이프라인(intelligent data pipelines)이 어떻게 AI 비용을 절감할 수 있는지 알고 싶으신가요? Expanso를 확인해 보세요. 아니면 말고 말입니다. 제가 감히 당신에게 무엇을 하라고 말할 수 있겠습니까.

참고: 저는 현재 운영, 컴플라이언스(compliance), 그리고 비용에 초점을 맞추어 머신러닝(machine learning)을 위한 데이터 준비의 실질적인 과제들에 대해 제가 목격한 내용을 바탕으로 책을 쓰고 있습니다. 여러분의 의견을 듣고 싶습니다!

원문은 Acceptable for Inference에 게시되었습니다.