AI 모델을 트랜지스터에 직접 각인: Taalas의 혁신적 추론 가속 기술

요약

스타트업 Taalas는 기존 컴퓨팅 아키텍처의 한계를 극복하기 위해 AI 모델의 가중치(weights)를 칩 트랜지스터 자체에 직접 '각인(etch)'하는 혁신적인 방식을 제시합니다. 이는 소프트웨어 의존성을 제거하고, 메모리와 연산 장치 간의 물리적 경계(memory wall)를 근본적으로 해소하여 AI 추론 속도와 밀도를 극대화합니다. Taalas는 마스크 ROM (mask ROM)과 SRAM을 결합한 아키텍처를 통해 80억 개 이상의 파라미터를 온칩에 구현하며, 기존 GPU/XPU 대비 압도적인 효율성을 목표로 합니다.

핵심 포인트

• Taalas는 AI 모델의 가중치를 트랜지스터 자체에 하드 코딩(hard coding)하여 소프트웨어 오버헤드를 제거하고 추론 성능을 극대화합니다.
• 핵심 아키텍처는 마스크 ROM (mask ROM)과 SRAM을 결합한 '리콜 패브릭(recall fabric)'으로, 모델 저장과 KV 캐시 연산을 동시에 처리할 수 있습니다.
• 이 설계 방식은 메모리와 컴퓨팅 간의 병목 현상(memory wall)을 해소하여 높은 밀도와 낮은 비용으로 고성능 AI 추론을 가능하게 합니다.
• Taalas는 현재 칩의 하드 와이어드 부분에만 80억 개 이상의 파라미터를 구현할 수 있는 밀도를 달성했습니다.