Launch HN: Tinfoil (YC X25): 클라우드 AI를 위한 검증 가능한 프라이버시

안녕하세요, HN! 저희는 Tinfoil의 Tanya, Sacha, Jules, Nate입니다:
https://tinfoil.sh. 저희는 데이터 접근 및 보존이 전혀 없음을 보장하면서 클라우드에서 모델과 AI 워크로드를 호스팅합니다. 이를 통해 사용자가 우리를 신뢰할 필요도 없고, 어떤 클라우드 제공업체를 신뢰할 필요도 없이 Llama나 Deepseek R1 같은 오픈 소스 LLM을 클라우드 GPU에서 실행할 수 있습니다.

AI는 더 많은 컨텍스트(context)가 주어질수록 성능이 좋아지기 때문에, 저희는 AI 프라이버시 문제를 해결하는 것이 더욱 가치 있는 AI 애플리케이션을 열어줄 것이라고 생각합니다. 이는 마치 인터넷의 TLS(Transport Layer Security)가 사용자의 신용카드 정보가 인터넷 패킷을 스니핑(sniffing)하는 사람에게 도난당하지 않을 것이라는 확신을 주면서 전자상거래가 번성할 수 있게 한 것과 같습니다.

저희는 암호학, 보안 및 인프라 분야의 배경을 가지고 있습니다. Jules는 MIT에서 신뢰 하드웨어(trusted hardware)와 기밀 컴퓨팅(confidential computing) 박사 학위를 받았으며, NVIDIA 및 Microsoft Research에서 같은 분야로 작업했습니다. Sacha는 MIT에서 프라이버시 보존 암호학(privacy-preserving cryptography)으로 박사 학위를 받았고, Nate는 Tor 같은 프라이버시 기술에 대해 작업했으며, 저(Tanya)는 Cloudflare의 암호학 팀 소속이었습니다. 저희는 PII(Personally Identifiable Information) 제거와 같은 임시방편적인 기법이나 DPA(Data Processing Agreements) 같은 법적 계약을 통한 '입으로 하는 약속' 방식의 보안에 만족하지 못했습니다. 저희는 신뢰를 증명 가능한 보안으로 대체하는 진정한 솔루션을 원했습니다.

모델을 로컬 또는 온프레미스(on-premise)에서 실행하는 것도 하나의 선택지이지만, 비용이 많이 들고 불편할 수 있습니다. 완전 동형 암호(Fully Homomorphic Encryption, FHE)는 가까운 미래에 LLM 추론(inference)에는 실용적이지 않습니다. 차선책은 보안 엔클레이브(secure enclaves)를 사용하는 것입니다. 이는 호스트 머신에서 실행되는 다른 어떤 소프트웨어도 접근할 수 없는 칩 위의 안전한 환경입니다. 이를 통해 저희는 데이터가 누구에게도, 심지어 Tinfoil이나 클라우드 제공업체에게도 접근될 수 없다는 것을 증명하면서 클라우드에서 LLM 추론을 수행할 수 있습니다. 게다가 이러한 보안 메커니즘은 하드웨어에 구현되어 있기 때문에 성능 오버헤드가 최소화됩니다.

비록 저희(Tinfoil)가 호스트 머신을 제어하지만, 엔클레이브 내부에서 처리되는 데이터에 대한 가시성(visibility)은 없습니다. 높은 수준에서 보면, 보안 엔클레이브는 구획화되고 격리되며 잠겨서 분할된 영역을 만드는 예약된 코어 세트입니다. 엔클레이브 밖으로 나오는 모든 것—메모리 및 네트워크 트래픽뿐만 아니라 GPU와 같은 다른 장치로의 주변장치(PCIe) 트래픽까지—은 암호화됩니다. 이러한 암호화는 설정 중에 엔클레이브 내부에서 생성되어 경계를 벗어나지 않는 비밀 키를 사용하여 수행됩니다. 또한, 칩에 내장된 '하드웨어 신뢰 루트'(hardware root of trust) 덕분에 고객들은 검증할 수 있습니다.