차단 모델 간 회로 전이를 위한 미분 가능 충실도 정렬

요약

본 논문은 '미분 가능 충실도 정렬(Differentiable Faithfulness Alignment, DFA)'이라는 새로운 프레임워크를 제안하여 작은 소스 모델의 회로 정보를 큰 타겟 모델로 전이하는 방법을 제시합니다. DFA는 노드 중요도 점수를 투영하고 소프트 충실도 목표를 통해 매핑을 학습함으로써, 완전한 회로 발견 없이 효율적으로 지식을 전달할 수 있습니다. 실험 결과, Llama-3 1B에서 3B로의 전이는 매우 강력했으며, 정렬된 회로는 직접 노드 귀속과 경쟁할 만큼 높은 성능을 보였으나, 소스-타겟 간격이 커질수록 전이 효과는 약화되는 한계점도 확인했습니다.

핵심 포인트

• DFA 프레임워크를 통해 작은 모델의 회로 지식을 큰 모델로 효율적으로 전이할 수 있다.
• DFA는 노드 중요도 점수를 투영하고 소프트 충실도 목표를 사용하여 훈련된다.
• Llama-3 1B $ o$ 3B와 같은 특정 설정에서 매우 강력한 성능을 보여, 직접적인 회로 발견과 경쟁할 만하다.
• 소스 모델과 타겟 모델 간의 크기 차이가 클수록 전이되는 회로 정보의 복원력은 약화된다.