PermaFrost-Attack: LLM 학습 중 로직 랜덤광 설치 위한 스텔스 프리트레이닝 시딩 (SPS)

요약

본 논문은 대규모 언어 모델(LLMs)이 적대적 조작에 취약한 문제를 다루며, '스텔스 프리트레이닝 시딩(Stealth Pretraining Seeding, SPS)'이라는 새로운 공격 계열을 제안합니다. 이 공격은 웹 크롤링 과정에서 소량의 독성 콘텐츠를 분산시켜 미래 학습 코퍼스에 잠복하게 만들고, 나중에 특정 트리거(<00TRIGGER00>)가 활성화될 때 안전 장치를 우회하는 '로직 랜덤광'을 내장합니다. 연구진은 이 위협을 'PermaFrost-Attack'이라 명명하고, 열역학적 길이 등 새로운 기하학적 진단 도구를 통해 잠재적인 모델 취약점을 체계적으로 검토할 수 있는 프레임워크를 제시합니다.

핵심 포인트

• LLMs는 여전히 적대적 조작에 취약하며, 웹 규모 프리트레이닝 데이터셋은 심각한 공격 표면을 형성한다.
• SPS(Stealth Pretraining Seeding)는 크롤링 과정에서 소량의 독성 콘텐츠를 분산시켜 탐지하기 어려운 방식으로 모델에 잠복시키는 새로운 위협이다.
• 이 공격으로 인해 발생하는 '로직 랜덤광'은 표준 평가로는 감지되지 않지만, 특정 트리거에 의해 활성화되어 안전 장치를 우회할 수 있다.
• 연구진은 이 위협을 'PermaFrost-Attack'이라는 개념적 프레임워크와 열역학적 길이 같은 새로운 기하학적 진단 도구를 통해 구체화하고 검증했다.