가중치 교란 없이 접근하는 신경 틈새에 대한 재고찰

요약

본 연구는 성능 향상의 원인으로 여겨지던 '신경 틈새 가설'에 의문을 제기하며, 전체 가중치 교란이 필수적이지 않음을 보여줍니다. 대신 출력 로짓(output logits)을 활용하는 Perturb-Select-Vote (PSV)라는 일반적인 절차를 공식화했습니다. 이 방법은 언어 및 비전 도메인에서 효과적으로 작동하며, 복잡한 가중치 교란 앙상블의 간단하고 학습 불필요한 대안을 제시합니다.

핵심 포인트

• 성능 향상이 반드시 전체 가중치 교란에 의존하지 않음을 입증했습니다.
• 출력 로짓 기반의 PSV(Perturb-Select-Vote)가 효과적인 추론 방법입니다.
• PSV는 언어 및 비전 도메인에서 높은 성능을 보이며, 도메인 이동에도 강합니다.
• 이 접근법은 복잡한 앙상블 없이도 강력한 대안을 제공합니다.