SharedRequest: 대규모 언어 모델(LLM)을 위한 프라이버시 보호형 모델 불가지론적 추론

ChatGPT와 같은 공개 대규모 언어 모델(LLMs)의 광범위한 배포로 인해, 사용자 프롬프트(prompt) 프라이버시를 보호하는 것이 점점 더 중요한 문제가 되었습니다. 기존의 프라이버시 보호 추론(privacy-preserving inference) 방식들은 유용성(utility) 또는 효율성(efficiency) 중 하나를 희생하며, 종종 호환성을 제한하는 모델 특정적(model-specific) 수정을 요구합니다. 본 논문에서는 개별 프롬프트 수준이 아닌 배치(batch) 수준에서 프라이버시 보호를 재정의하는, 모델 불가지론적(model-agnostic) 프라이버시 보호 LLM 추론 프레임워크인 SharedRequest를 제안합니다. 핵심 아이디어는 원본 프롬프트를 노이즈가 섞인 변형(noisy variants)과 혼합하여 민감한 정보를 가리는 동시에, 의미론적으로 동일한 지시어(instructions)들을 그룹화함으로써 LLM 응답 품질에 미치는 영향을 최소화하면서 대규모 쿼리 배치에 대해 추론 비용을 분할 amortize하는 것입니다. 이 설계는 LLM 아키텍처와 독립적이어서, 모델 파라미터(parameters)에 대한 접근이나 아키텍처 수정이 필요하지 않습니다. 실증적 결과에 따르면, SharedRequest는 기존의 차분 프라이버시(differential privacy) 베이스라인과 비교하여 20% 이상 높은 유용성을 달성하였으며, 공유 프롬프트(shared-prompt) 메커니즘을 통해 비배치(non-batched) 추론 대비 쿼리 비용을 최대 5배까지 절감합니다.