Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
FuseFSS는 함수 비밀 공유(FSS)를 활용하여 LLM의 보안 추론 성능을 높이는 새로운 컴파일러 프레임워크입니다. 연산자별 맞춤형 프로토콜 대신 단일 컴파일 파이프라인을 사용하여 비선형 연산의 병목 현상을 해결합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기2-서버 보안 추론 (Two-server secure inference)은 클라이언트가 프롬프트 (prompts)나 임베딩 (embeddings)을 노출하지 않고 호스팅된 대규모 언어 모델 (LLM)에 질의할 수 있게 해줍니다. 최근 함수 비밀 공유 (Function Secret Sharing, FSS)를 기반으로 한 GPU 시스템은 선형 레이어 (linear layers)를 효율적으로 처리하지만, 고정 소수점 비선형성 (fixed-point nonlinearities) 및 보조 연산 (helper operations)은 여전히 병목 현상으로 남아 있습니다. 이는 각 연산자가 일반적으로 고유한 비교 (comparisons), 랩어라운드 수정 (wrap-around corrections), 전처리 자료 (preprocessing material)를 갖춘 맞춤형 프로토콜 (bespoke protocol)로 구현되기 때문입니다. 본 논문에서는 연산자별 프로토콜 설계를 단일 컴파일 파이프라인 (compilation pipeline)으로 대체하는 컴파일러인 FuseFSS를 제시합니다. 각 스칼라 고정 소수점 연산자에 대해, 컴팩트한 명세 (specification)는 구간 분할 (interval partition), 저차원 산술 조각 (low-degree arithmetic pieces), 그리고 필요한 술어 비트 (predicate bits)를 나열합니다. 컴파일러는 공개 마스킹된 값 (public masked value)에 대해 두 가지 배치형 FSS 평가 (batched FSS evaluations)를 생성합니다: 모든 술어 비트를 반환하는 하나의 팩킹된 비교 (packed comparison)와 활성 계수 (active coefficients) 및 상수 (constants)를 반환하는 하나의 벡터 구간 조회 (vector interval lookup)입니다. 현재의 최첨단 FSS 기반 GPU 보안 추론과 비교했을 때, FuseFSS는 정확도를 유지하면서 BERT 및 GPT 스타일 모델에서 $1.24 imes$--$1.50 imes$의 엔드 투 엔드 (end-to-end) 속도 향상을 달성하고 온라인 통신 (online communication)을 $9%$--$16%$ 감소시켰습니다. 또한 전처리 (preprocessing) 단계도 더 가벼워져서, 키 생성 시간 (key-generation time)은 $14%$--$23%$ 단축되었고 키 크기는 $20%$--$24%$ 작아졌습니다.