자원 제약이 있는 엣지 디바이스(edge devices)에 안전한 대규모 언어 모델(LLMs)을 배포하는 것은 매우 중요한 과제입니다. LLM과 가드 모델(guard models)을 결합한 이중 모델 시스템은 효과적인 안전 보장을 제공하지만, 상당한 메모리 및 연산 요구량으로 인해 온디바이스(on-device) 배포에는 비용이 지나치게 많이 듭니다. 본 논문은 자원 제약 환경을 위한 매개변수 효율적(parameter-efficient) 안전 정렬(safety alignment) 방법에 대한 종합적인 연구를 제시합니다. 다양한 LLM 아키텍처, 학습 목표(training objectives), 그리고 매개변수 효율적 미세 조정(parameter-efficient fine-tuning) 접근 방식을 통한 체계적인 평가를 통해, 우리는 소프트 프롬프트(soft prompts)를 증류 기반 학습(distillation-based training)과 결합했을 때 다른 방법들보다 일관되게 우수한 성능을 보임을 확인했습니다. 우리는 가드 모델의 안전 행동을 학습된 소프트 프롬프트로 효과적으로 전달하는 총 변동(total variation) 및 KL 발산(KL divergence) 기반의 증류 프레임워크를 소개합니다. 다양한 벤치마크에 대한 평가 결과, 이러한 조합은 추론 시 추가적인 메모리와 연산을 최소로 요구하면서도 LoRA 어댑터(LoRA adapters), 스티어링 벡터(steering vectors), 직접 최적화(direct optimization) 방법과 비교하여 우수한 안전성-유용성 트레이드오프(safety-usefulness trade-offs)를 달성함을 입증했습니다. 이러한 발견은 소프트 프롬프트 증류가 온디바이스 LLM 배포를 위한 안전 정렬의 선호되는 접근 방식임을 확립합니다.