RED-PIM: Processing-in-Memory를 사용하여 Transformer의 데이터 이동 감소

요약

RED-PIM은 Processing-in-Memory(PIM) 기술을 활용하여 Transformer 모델의 어텐션 연산 시 발생하는 데이터 이동 문제를 해결하는 알고리즘-아키텍처 공동 설계 연구입니다. 뱅크 간 통신을 최소화하고 중간 행렬 크기를 축소하여 추론 성능과 확장성을 크게 개선했습니다.

핵심 포인트

• PIM 기반 Transformer의 뱅크 간 데이터 이동을 O(N^2)에서 O(N)으로 감소
• 중간 어텐션 행렬을 N x N에서 d x d로 축소하여 지연 시간 단축
• 기존 PIM 구현 대비 추론 시간을 평균 66.42% 단축
• 긴 시퀀스 데이터에서 성능 개선 효과가 더욱 두드러짐
• 정확도를 유지하거나 향상시키면서 효율적인 추론 가능