본문으로 건너뛰기
arXiv논문2026. 11. 18. 16:59
중앙 집중형 제거(Centered Ablation): 마지막 레이어 방향성 제거가 왜 작동하지 않거나 붕괴하는지, 그리고 폐쇄형 공식 수정 방법 대표 이미지

중앙 집중형 제거(Centered Ablation): 마지막 레이어 방향성 제거가 왜 작동하지 않거나 붕괴하는지, 그리고 폐쇄형 공식 수정 방법

원문 발행 2026. 11. 16. 02:30원문 언어 영어AI 한국어 번역arXiv cs.CL 원문 보기

요약

기존의 방향성 제거(Directional ablation)는 모델 붕괴나 불안정성을 야기하는 문제가 있었습니다. 본 연구는 이 문제를 분석하고, 공통 모드를 활용하여 '중앙 집중형 제거(Centered Ablation)'라는 폐쇄형 공식 수정 방법을 제안합니다. 이는 여러 모델에서 공격 성공률을 높이고 텍스트 붕괴를 줄이는 효과가 입증되었습니다.

핵심 포인트

  • 방향성 제거는 불안정하여 모델이 제대로 작동하지 않거나 붕괴될 수 있습니다.
  • 문제의 근본 원인은 마지막 레이어 상태들이 공유하는 '공통 모드'에 기인합니다.
  • 중앙 집중형 제거(CA)는 이 공통 모드를 폐쇄형 공식으로 수정하여 안정성을 높입니다.
  • CA는 공격 성공률을 높이고, Gemma-2-9B의 붕괴를 크게 줄이는 효과가 있습니다.

AI 자동 생성 콘텐츠

본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
0

댓글

0