Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 연구는 AI 모델이 임의의 능력을 숨길 수 있으며, 이를 백도어 공격 형태로 구현할 수 있음을 보여줍니다. 호스트 모델 가중치 내부에 암호화된 신경망을 삽입하고 비밀 트리거를 통해 실행하는 방식으로, 외부 접근만으로는 숨겨진 기능을 유도하거나 해석하기 어렵게 만듭니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기능력 평가는 배포 전에 위험한 모델 동작을 표면화하는 것을 목표로 하지만, 그 신뢰성은 숨겨진 능력들이 유도될 수 있다는 가정에 달려 있습니다. 우리는 이러한 가정이 적대적 조건 하에서는 성립하지 않음을 보여줍니다. 이를 위해 호스트 모델 가중치 내부에 암호화된 신경망을 임베드하고, 비밀 트리거를 받는 경우에만 복호화하여 실행하는 백도어 공격을 구성합니다. 디지털 잠금장치를 사용함으로써, 이러한 숨겨진 회로는 암호학적 가정 하에서 모델 가중치에 대한 완전한 접근이 주어져도 유도 및 해석하기가 증명적으로 어렵게 유지됩니다. 이는 고정된 문자열을 숨기는 이전 연구를 임의의 계산으로 확장합니다. 우리는 PyTorch로 개념 증명 구성을 구현하고, 작은 화학 반응 예측 작업(CBRN 관련 능력의 대리 지표)에 대한 미세 조정(fine-tuning), 가중치 노이징(weight noising), 기울기 기반 트리거 검색(gradient-based trigger search), 잠재적 적대 훈련(latent adversarial training)을 통해 유도 가능성을 평가합니다. 우리의 결과는 이러한 방법들에 대한 저항성을 입증하며, 이는 암호학적 보장과 함께 유도 기반 능력 감사(elicitation-based capability audits)의 한계를 드러냅니다. 우리는 방어 개선을 지원하기 위해 모델을 공개합니다.