경사(Gradient)를 따라가기: 안전성 저하의 원인을 훈련 데이터로 추적하기

요약

LLM 미세 조정 시 발생하는 안전성 저하 문제를 해결하기 위해 SimpleLoRIF라는 경사 임베딩 방법을 개발했습니다. 이 방법은 안전하지 않은 행동과 일치하는 훈련 데이터를 식별하여, SafeTulu를 구축하는 데 사용되었습니다. 그 결과, Qwen, Llama 등 여러 모델의 공격 성공률을 크게 감소시키면서도 성능 저하를 최소화했음을 입증했습니다.

핵심 포인트

• SimpleLoRIF는 경사 분석으로 안전성 저하 데이터를 식별하는 확장 가능한 방법입니다.
• 최대 백만 개 규모 데이터셋에 적용 가능하며, 실용적인 필터로 기능합니다.
• SafeTulu 구축 후, 주요 LLM의 공격 성공률을 최대 22%까지 감소시켰습니다.
• 안전성 강화와 모델 능력 유지/향상이 동시에 가능하다는 것을 입증했습니다.