Backward Spreading 에서 Forward Replay 로: LLM 파라미터 편집의 타겟 구성 재검토

요약

기존 LLM 파라미터 편집 기법은 목표 레이어에서 계산된 이상적인 히든 스테이트를 이전 레이어로 역전파(backward spreading)하여 적용하는 방식이었습니다. 본 논문은 이 방법의 이론적 한계와 실패 모드를 분석하고, 이를 개선한 새로운 접근 방식을 제안합니다. 새롭게 제안된 'Forward Replay' 기법은 첫 번째 편집 레이어에서 앵커 포인트를 최적화하고 이를 순전파(forward propagation)하여 모든 후속 레이어의 타겟 히든 스테이트를 얻습니다. 이 방법은 기존 방식과 동일한 계산 복잡도를 유지하면서도 더 정확하고 상호 호환성이 높은 레이어별 타겟을 생성합니다.

핵심 포인트

• 기존 LLM 파라미터 편집은 'Backward Spreading' 방식을 사용하며, 이는 이론적 기반 연구가 부족했습니다.
• 제안된 대안인 'Forward Replay'는 첫 번째 편집 레이어에서 앵커 포인트를 최적화하는 방식으로 작동합니다.
• 이 방식은 순전파(forward propagation)를 활용하여 모든 후속 레이어에 정확하고 상호 호환 가능한 타겟 히든 스테이트를 생성합니다.
• Forward Replay는 기존 방법과 동일한 계산 복잡도를 유지하면서도 더 높은 정확도의 편집 결과를 제공합니다.