대규모 언어 모델의 개입에 따른 행동적 영향 감사용 자동화된 대비 평가 파이프라인 제시

요약

본 논문은 대규모 언어 모델(LLM)의 특정 개입(intervention)이 모델 행동에 미치는 영향을 자동으로 평가하고 감사를 수행하는 파이프라인을 제시한다. 이 방법은 기본 모델과 개입된 모델 간의 다중 토큰 생성을 비교하여, 통계적으로 검증되고 인간이 이해하기 쉬운 자연어 가설을 생성하며 반복적인 주제를 식별한다. 합성 환경 및 실제 시나리오(예: 추론 정제, 지식 편집)에 적용하여, 이 파이프라인이 의도된 변화뿐만 아니라 예상치 못한 행동 변화까지 포착할 수 있음을 입증했다.

핵심 포인트

• LLM 개입에 따른 행동적 영향을 감사하기 위한 자동화된 대비 평가(contrastive evaluation) 파이프라인을 제안함.
• 모델 간의 차이를 설명하는 통계적으로 검증되고 해석 가능한 자연어 가설 및 반복 주제를 생성함.
• 합성 환경과 실제 개입 시나리오(지식 편집, unlearning 등)에 적용하여 높은 신뢰성을 입증함.
• 단순히 의도된 변화뿐만 아니라 예상치 못한 행동 변화까지 포착할 수 있으며, 환각을 방지하고 효과가 없는 경우 차이가 없음을 정확하게 보고함.