신경망 가속 연구 스터디 시즌 #1

신경망 가속 연구 스터디 시즌 #1

이 저장소는 '신경망 가속(neural network acceleration)'에 대한 연구 자료를 담고 있습니다. 이 연구의 목표는 다양한 장치에서 신경망의 가속화 원리를 이해하는 것입니다. 가속화 주제에는 CPU, GPU, FPGA, ASIC, NPU, 그리고 PIM이 포함됩니다. 관련 자료는 본 github와 youtube를 통해 공개하고 있습니다.

CPU/GPU 및 NPU

• CPU 또는 GPU용 최적화된 BLAS 설계
• 이종 시스템 아키텍처(HSA) 장치에서의 최적 기본 요소 선택
• CUDA/OpenCL 커널 설계

ASIC 및 FPGA

• HLS 또는 RTL 설계를 사용한 저전력 추론 가속
• 고성능 컴퓨팅 훈련 가속기

PIM (NDP)

• DIMM 및 HMC 기반 신경망 가속 시스템
• Non-HBM 기반 설계

논문 목록 (17)

프로세서 기반 가속 (9)

CPU, GPU, 그리고 특수 시스템 기반 가속(병렬 컴퓨팅, 분산 컴퓨팅)

1. AccUDNN: A GPU Memory Efficient Accelerator for Training Ultra-deep Neural Networks, arxiv, 2019.
2. Zion: Facebook Next-Generation Large-memory Unified Training Platform, HotChips, 2019.
3. µLayer:Low Latency On-Device Inference Using Cooperative Single-Layer Acceleration and Processor-Friendly Quantization, EuroSys, 2019.
4. Scalpel: Customizing DNN pruning to the underlying hardware parallelism, ISCA, 2017.
5. MOSAIC: Heterogeneity-, Communication-, and Constraint-Aware Model Slicing and Execution for Accurate and Efficient Inference, PACT, 2019.
6. Optimal DNN Primitive Selection with Partitioned Boolean quadratic Programming, ACM CGO, 2019.
7. Neural Network Inference on Mobile SoCs, Arxiv 2019.
8. Learning to infer: RL-based search for DNN primitive selection on Heterogeneous Embedded Systems, DATE, 2019.
9. Performance analysis of CNN frameworks for GPUs, ISPASS, 2018.

ASIC 및 FPGA (6)

1. Cambricon: 신경망을 위한 명령어 집합 아키텍처(Instruction Set Architecture), ISCA, 2016.
2. 텐서 처리 장치(Tensor Processing Unit)의 데이터센터 성능 분석, ISCA, 2017.
3. 계층 인식 메모리 관리(Layer Conscious Memory Management)를 통한 FPGA 기반 DNN 가속기의 데이터 전송 병목 현상 극복, DAC, 2019.
4. 심층 합성곱 신경망(Deep Convolutional Neural Networks)을 위한 FPGA 기반 가속기 설계 최적화, FPGA, 2015.
5. FA3C: FPGA 가속 심층 강화 학습(Deep Reinforcement Learning), ASPLOS, 2019.
6. Cambricon-S: 협력적인 소프트웨어/하드웨어 접근 방식을 통한 희소 신경망(Sparse Neural Networks)의 불규칙성 해결, MICRO, 2018.

PIM 및 NDP (2)

1. 에너지 효율적인 신경망 학습을 위한 메모리 내 처리(Processing-in-Memory): 이종 아키텍처 접근 방식, MICRO, 2018.
2. TensorDIMM: 딥러닝의 임베딩 및 텐서 연산을 위한 실용적인 근접 메모리 처리 아키텍처, MICRO, 2019.

발표 자료와 영상

Week1: 신경망 가속 소개 (2020년 2월 2일)

분할된 부울 이차 계획법(Partitioned Boolean quadratic Programming)을 이용한 최적 DNN 기본 연산 선택
발표자: Constant Park (http://esoc.hanyang.ac.kr/people/sangsoo_park/index.html)
PPT: https://github.com/ConstantPark/Nerual-Network-Acceleration/blob/master/Optimal%20DNN%20Primitive%20Selection%20with%20Partitioned%20Boolean%20Quadratic%20Programming.pdf
영상:

Week2: HW 가속기(ASIC) 및 GPU 가속 (2020년 2월 16일)

심층 합성곱 신경망을 위한 FPGA 기반 가속기 설계 최적화
발표자: 김태완 ([email protected])
PPT: https://github.com/ConstantPark/Nerual-Network-Acceleration/blob/master/Optimizing%20FPGA-based%20Accelerator%20Design%20for%20Deep%20Convolutional%20Neural%20Networks%20Chen%20Zhang%20et%20al%20-%20Louis%20tw%20Kim%20Presentation.pdf
영상:

Week3: CPU/GPU 가속 (2020년 3월 8일)

GPU용 CNN 프레임워크 성능 분석

발표자: Martin ([email protected])
PPT: https://github.com/ConstantPark/Nerual-Network-Acceleration/blob/master/Performance_Analysis_of_CNN_Frameworks_for_GPUs.pdf
Video:

µLayer: Cooperative Single-Layer Acceleration 및 Processor-Friendly Quantization을 활용한 저지연 온디바이스 추론 (Low Latency On-Device Inference)

발표자: Martin ([email protected])  
PPT: https://github.com/ConstantPark/Nerual-Network-Acceleration/blob/master/uLayer_%20Low_Latency_On-Device_Inference_Using_Cooperative_Single-Layer_Acceleration_and_Processor-Friendly_Quantization.pdf  
Video: https://youtu.be/ofHqG2z-X4Q   

Week4: CPU/GPU 가속 및 시스톨릭 액셀러레이터 (Systolic Accelerator) (2020년 3월 15일)

Scalpel: 근본적인 하드웨어 병렬성에 맞춘 DNN 가지치기 커스터마이징 (Customizing DNN pruning to the underlying hardware parallelism)

발표자: DownyK ([email protected])  
PPT: https://github.com/ConstantPark/Nerual-Network-Acceleration/blob/master/Scalpel_Customizing%20DNN%20pruning%20to%20the%20underlying%20hardware%20parallelism%2C.pdf   
Video: https://youtu.be/z0Jy8vhZT38 

Gemmini: 딥러닝 아키텍처의 체계적인 평가를 가능하게 하는 민첩한 시스톨릭 배열 생성기 (An Agile Systolic Array Generator Enabling Systematic Evaluations of Deep-Learning Architectures)

발표자: Constant Park ([email protected])  
PPT: https://github.com/ConstantPark/Nerual-Network-Acceleration/blob/master/Gemmini-%20An%20Agile%20Systolic%20Array%20Generator%20Enabling%20Systematic%20Evaluations%20of%20Deep-Learning%20Architectures.pdf
Video: https://youtu.be/nqDLiLjySLE

Week5: HW 가속기 (ASIC) 및 CPU/GPU 가속 (2020년 4월 4일)

MOSAIC: 이질성(Heterogeneity), 통신, 제약 조건 인지 모델 슬라이싱 ~ 효율적인 추론 (Model Slicing ~ Efficient Inference)
발표자: 이제민 ([email protected])
PPT: https://www.slideshare.net/leejaymin/pact19-mosaic-heterogeneity-communication-and-constraintaware-model-slicing-and-execution-for-accurate-and-efficient-inference
Video:

텐서 처리 장치(Tensor Processing Unit)의 데이터센터 내 성능 분석

발표자: Constant Park ([email protected])
PPT: https://github.com/ConstantPark/Nerual-Network-Acceleration-1/blob/master/TPU-%20In-Datacenter%20Performance%20Analysis%20of%20a%20Tensor%20Processing%20Unit.pdf
Video:

기여자 (Contributors)

주요 기여자(Main Contributor): Constant Park ([email protected])
발표자(Presenters): Constanr Park ([email protected]), 이제민 ([email protected]), 김태완 ([email protected]), DownyK ([email protected]), 전지혜 ([email protected]), Martin ([email protected]), 김용우 ([email protected]), ([email protected])