하드웨어 인지적 Transformer 적응을 위한 계층별 특화 스칼라 함수 진화

Vision Transformers (ViTs)는 까다로운 비전 작업에서 최첨단 성능을 달나하지만, 계층 정규화 (Layer Normalization)로 인해 발생하는 계산 복잡성과 전역 리덕션 병목 현상 (Global Reduction Bottleneck)으로 인해 엣지 디바이스 (Edge Devices)에 배포하는 데 심각한 제약을 받습니다. 최근의 방법들은 정규화 계층을 하드웨어 친화적인 스칼라 근사치 (Scalar Approximations)로 교체함으로써 이를 우회하려고 시도합니다. 그러나 이러한 균질한 (Homogeneous) 교체 방식은 모든 계층의 동작에 최적으로 부합하지 않으며, 비용이 많이 드는 모델 재학습 (Model Retraining)에 의존합니다. 본 연구에서는 유전 프로그래밍 (Genetic Programming, GP)을 활용하여 사전 학습된 가중치 (Pre-trained Weights)로부터 이질적이고 계층별로 특화된 스칼라 함수를 직접 진화시키는 매우 효율적인 하드웨어 인지적 프레임워크를 제안합니다. 새로운 사후 학습 재정렬 (Post-training Re-alignment) 전략과 결합된 우리의 접근 방식은 모델을 처음부터 완전히 재학습할 필요를 제거합니다. 우리가 진화시킨 수식들은 대상 정규화 동작을 정확하게 근사하며, 균질한 베이스라인 (Homogeneous Baselines)이 $70.2%$의 분산을 포착하는 것에 비해 $91.6%$의 분산 ($R^2$)을 포착합니다. 이를 통해 우리의 수정된 아키텍처는 단 20 에포크 (Epochs) 만에 ImageNet-1K의 Top-1 정확도의 $84.25%$를 회복할 수 있습니다. 전역 리덕션 병목 현상을 제거하면서도 이러한 성능을 유지함으로써, 우리의 접근 방식은 산술 복잡도 (Arithmetic Complexity)와 오프칩 메모리 트래픽 (Off-chip Memory Traffic) 사이의 매우 유리한 트레이드오프 (Trade-off)를 구축하며, 엣지 가속기 (Edge Accelerators)에서 ViT를 효율적으로 배포하는 데 있어 주요 장벽을 제거합니다.