격차 벌리기: Outlier Injection을 통한 LLM 양자화(Quantization) 악용

LLM 양자화 (Quantization)는 메모리 효율적인 배포를 위해 필수적이 되었습니다. 최근 연구에 따르면 양자화 방식이 심각한 보안 위험을 초래할 수 있음이 밝혀졌습니다. 즉, 공격자가 전체 정밀도 (Full Precision) 상태에서는 무해해 보이지만, 사용자가 양자화를 수행하면 악의적인 동작을 보이는 모델을 배포할 수 있습니다. 그러나 기존의 양자화 조건부 공격 (Quantization-conditioned attacks)은 공격자가 대상 양자화 하에서 불변하는 가중치 영역을 추정할 수 있는 비교적 단순한 양자화 방식에 국한되어 왔습니다. 특히, 이전의 공격들은 더 대중적이고 정교한 방식들을 일관되게 무력화하는 데 실패하여 실질적인 영향력이 제한적이었습니다.

본 연구에서는 AWQ, GPTQ, 그리고 GGUF I-quants를 포함한 광범위한 고급 양자화 기술에 의해 트리거될 수 있는 악의적 동작을 일관되게 유도하는 최초의 양자화 조건부 공격을 소개합니다. 우리의 공격은 많은 현대적 양자화 방식들이 공유하는 단순한 특성을 악용합니다. 즉, 큰 이상치 (Outliers)가 다른 가중치들을 0으로 반올림되게 만들 수 있다는 점입니다. 결과적으로, 공격자는 특정 가중치 블록에 이상치를 주입함으로써 모델 내에서 표적화되고 예측 가능한 가중치 붕괴 (Weight collapse)를 유도할 수 있습니다. 이러한 효과를 통해, 겉보기에는 무해한 전체 정밀도 모델을 제작하여 양자화 이후 광범위한 악의적 동작을 보이도록 만들 수 있습니다.

세 가지 공격 시나리오와 LLM에 걸친 광범위한 평가를 통해, 우리는 우리의 공격이 이전 공격들이 실패했던 광범위한 양자화 방식들에 대해 높은 성공률을 달성함을 보여줍니다. 우리의 결과는 양자화의 보안 위험이 단순한 방식에 국한되지 않고, 복잡하고 널리 사용되는 양자화 방식 전반에 걸쳐 광범위하게 관련되어 있음을 처음으로 입증합니다.