Clutch: Chunked Temporal Coding을 통한 DRAM 기반 고성능 벡터-스칼라 비교

벡터-스칼라 비교 (Vector-scalar comparison)는 벡터의 각 요소를 단일 스칼라 값과 비교하는 근본적인 연산 프리미티브 (computation primitive)입니다. 이는 데이터베이스에서 머신러닝 (machine learning)에 이르기까지 다양한 데이터 집약적 워크로드에서 널리 사용됩니다. 낮은 연산 강도 (computational intensity)로 인해 실행 시 메모리 대역폭에 제한을 받는 메모리 바운드 (memory-bound) 경향이 있으며, 이는 연산 자원의 활용도를 제한합니다. Processing-using-DRAM (PuD)은 DRAM 어레이 내부에서 대규모 병렬 비트 단위 연산 (bitwise operations)을 직접 수행하여 칩 외부의 데이터 이동을 완화하는 신흥 컴퓨팅 패러다임입니다. 기존의 PuD 기반 접근 방식은 비트 직렬 실행 모델 (bit-serial execution model)에서 비교의 알고리즘 복잡도가 피연산자의 비트 폭 (bit-width)에 따라 증가하기 때문에 많은 DRAM 명령어를 필요로 합니다. 이러한 명령어 오버헤드 (command overhead)는 지배적인 병목 현상이 되어 애플리케이션 수준의 속도 향상을 제한합니다. 우리는 PuD 시스템에서 벡터-스칼라 비교를 높은 효율성과 확장성으로 가속화하는 데이터 표현 및 비교 알고리즘인 Clutch를 제안합니다. Clutch는 먼저 시간 코딩 (temporal coding)을 사용하여 각 벡터 값을 선행 1 (leading ones)의 시퀀스로 인코딩하며, 이를 통해 해당 DRAM 행 (row)에 액세스함으로써 스칼라에 대한 룩업 기반 (lookup-based) 비교를 가능하게 합니다. 높은 정밀도에서 룩업 테이블 (lookup tables)의 과도한 메모리 사용량을 피하기 위해, Clutch는 피연산자를 여러 개의 멀티 비트 청크 (multi-bit chunks)로 분할하고, 컴팩트한 룩업 테이블을 사용하여 청크를 독립적으로 비교한 다음, PuD 효율적인 절차를 통해 청크별 결과를 병합합니다. 청크 수를 조정함으로써 Clutch는 처리량 (throughput)과 메모리 사용량 사이의 유연한 트레이드오프 (tradeoff)를 제공합니다. 술어 평가 (predicate evaluation) 및 결정 트리 추론 (decision tree inference) 전반에 걸쳐, Clutch는 고도로 최적화된 CPU 및 GPU 실행 대비 엔드 투 엔드 (end-to-end) 애플리케이션 처리량과 에너지 효율을 평균 12배 및 69배 향상시켰으며, 최신 비트 직렬 PuD 구현 대비 2.9배 및 3.0배 향상시켰습니다. 또한 우리는 결정 트리 추론을 PuD 실행으로 매핑한 첫 번째 사례를 제시하여, PuD를 새로운 애플리케이션 도메인으로 확장합니다.