Transformer 모델에서 비-GEMM(비-General Matrix Multiplication) 연산 -- 특히 Softmax 와 Layer Normalization (LayerNorm) -- 은 그 비선형적인 성질로 인해 하드웨어 비용의 대부분을 차지합니다. 이를 해결하기 위해 이전 근사 연구들은 주로 순위 기반 (rank-oriented) 작업에 초점을 맞추었으며, 이는 분류 작업에는 적합합니다. 그러나 Edge 자연어 처리 (NLP) 응용 프로그램과 Edge 생성형 AI 는 주로 점수 기반 (score-oriented) 작업에 따라 평가되므로, 정규화가 보장된 비-GEMM 연산이 필수적입니다. 우리는 Edge 디바이스를 위한 하드웨어 효율적 Softmax 와 LayerNorm with Guaranteed Normalization 을 제안합니다. 우리의 설계는 정규화 (Softmax: $ extstyle extstyle\sum p = 1$, LayerNorm: $σ= 1$) 를 유지하면서 하드웨어 효율적인 근사 방법을 사용합니다. 우리 아키텍처는 Verilog HDL 로 기술되었으며, Samsung 28nm CMOS 공정으로 합성되었습니다. 정확도 평가에서 우리는 최소한의 저하로 높은 정확도를 달성했습니다: GLUE +0.07%, SQuAD -0.01%, perplexity -0.09%. 구현 결과는 우리 아키텍처가 작음을 보여줍니다: Softmax 는 $942,μm^2$, LayerNorm 은 $1199,μm^2$. 최첨단 기술과 비교할 때 우리는 각각 면적을 최대 11 배 및 14 배 줄이는 성과를 거두었습니다.