에이전트 AI (Agentic AI) 시대가 도래하면서 발생하는 가장 큰 기술적 과제는 '추론 비용(inference cost)'의 급격한 증가입니다. 에이전트 AI 환경에서는 대규모 언어 모델(LLM)을 활용하여 기계들이 서로 복잡하게 상호작용하는 워크플로우가 발생하며, 이는 엄청난 양의 추론 연산을 요구합니다. 따라서 처리되는 토큰 수가 늘어날수록 추론 비용이 급격히 상승하는 문제를 해결하지 못하면 생성형 AI(GenAI) 자체가 지속 불가능해집니다.

이러한 배경 속에서 샌바노바 시스템즈(SambaNova Systems)는 엔비디아 GPU의 강력한 지배력에도 불구하고, 자체적인 하드웨어 아키텍처를 통해 경쟁력을 확보하려 하고 있습니다. 최근 샌바노바는 $350M 규모의 Series E 투자를 유치하며 차세대 컴퓨팅 엔진인 'Cerulean 2' SN50을 발표했습니다.

SN50의 핵심 기술적 혁신:

SN50은 이전 세대 제품인 SN40L의 진화형으로, 재구성 가능한 데이터 유닛(RDU) 구조를 채택하고 있습니다. 이 아키텍처는 '패턴 컴퓨팅 유닛(Pattern Compute Units, PCUs)'과 '패턴 메모리 유닛(Pattern Memory Units, PMUs)' 같은 재구성 요소들로 구성됩니다. SN50의 핵심은 단순히 연산 능력만 높인 것이 아니라, 데이터 처리 효율성을 극대화한 아키텍처에 있습니다.

1. 메모리 계층 구조 최적화: 샌바노바는 SRAM 메모리를 컴퓨팅 코어 근처에 분산 배치하여 높은 대역폭과 지역성(locality)을 확보했습니다. 또한, 온칩 SRAM, 패키지 내 HBM(High Bandwidth Memory), 그리고 액셀러레이터 카드 DRAM의 세 가지 메모리 계층 구조를 설계하고, 전용 컴파일러인 SambaFlow가 이 데이터 흐름을 정적으로 스케줄링하여 데이터 이동 속도를 극대화합니다. 이는 데이터를 호스트 서버나 PCIe/NVLink 포트를 통해 옮기는 것보다 훨씬 빠릅니다.
2. 성능 향상 메커니즘: SN50은 SN40L 대비 2.5배의 성능을 FP16(half precision floating point) 기준으로 제공한다고 주장합니다. 이러한 성능 증가는 PCU와 PCM 코어의 증설과 더불어, 공정 미세화(shrink)를 통해 TSMC의 5nm에서 3nm 트랜지스터로 전환하고 클럭 속도를 높인 결과입니다.
3. FP8 지원: 특히 주목할 점은 FP8 (8-bit floating point) 지원을 추가함으로써 이론적 처리량(throughput)을 다시 두 배로 늘려, SN40L 대비 최대 5배의 성능 향상을 달성했다는 것입니다.

이러한 접근 방식은 기존 FPGA가 느리고 비쌌던 단점을 극복하고, 고효율의 추론 작업에 최적화된 하드웨어 솔루션을 제공하려는 시도로 해석됩니다. 샌바노바는 이 기술을 통해 엔비디아 중심의 AI 데이터센터 시장에서 독자적인 입지를 구축하고자 합니다.