AI와 오픈소스 모델로 양자 컴퓨팅의 한계를 돌파하다

양자 컴퓨터가 오류 허용성(fault-tolerant)을 갖추고 확장 가능하며 상업적으로 실현되기 위해서는, 기존 첨단 컴퓨팅 기술인 AI, 오픈소스 모델, 그리고 GPU 기반의 HPC 시뮬레이션 및 모델링이 필수적인 핵심 요소로 작용합니다. Nvidia는 이 모든 영역에서 강점을 가지고 있으며, 특히 AI를 양자 하드웨어의 '제어 평면(control plane)'으로 정의하며 그 중요성을 역설했습니다.

현재 큐비트(qubits)는 본질적으로 노이즈에 취약하고 불안정합니다. 이러한 노이즈를 대규모로 관리하는 것이 가장 큰 과제이며, AI 모델을 활용하여 이 문제를 해결할 수 있다고 설명합니다. 또한, 양자 커뮤니티가 지속적으로 맞춤화하고 개선하기 위해서는 해당 AI 모델들이 '오픈소스' 형태로 제공되어야 한다고 강조했습니다.

Nvidia는 이미 CUDA-Q와 cuQuantum 같은 오픈 양자 기술 포트폴리오를 확장해 왔으며, Nemotron, BioNeMo 등 다양한 분야의 오픈소스 AI 모델을 보유하고 있습니다. 이제 그 초점을 양자 영역으로 옮기며, 두 가지 핵심 오픈 양자 모델인 Ising Calibration과 Ising Decoding을 공개했습니다.

이 두 모델은 양자 컴퓨팅의 근본적인 난제인 '노이즈'를 해결하는 데 중점을 둡니다. 현재 최고 수준의 양자 프로세서도 약 1,000번 작동당 한 번의 오류가 발생하지만, 과학적/기업적 가치를 창출하려면 이 수치가 1조 분의 1 이하로 줄어들어야 합니다.

1. Ising Calibration (Vision Language Model, VLM):
기존의 보정(Calibration) 작업은 인간 물리학자나 단순 알고리즘에 의존하여 부정확하고 시간이 오래 걸리며 확장성이 매우 낮았습니다. 특히 100큐비트 시스템는 물론 상업적 양자 시스템이 요구하는 백만 개 이상의 큐비트를 다루기에는 한계가 명확했습니다. Ising Calibration은 350억 개의 파라미터를 가진 VLM으로, AI 에이전트를 활용하여 전체 보정 워크플로우를 자동화합니다. 이로써 수일이 걸리던 작업을 몇 시간 단위로 획기적으로 단축시켰습니다.

2. Ising Decoding (3D Convolutional Neural Network):
이는 양자 오류 수정(Quantum Error Correction)을 위한 모델입니다. 속도에 최적화된 버전과 정확도에 최적화된 두 가지 **3D 컨볼루션 신경망(CNN)**으로 구성되어, 실시간으로 발생하는 오류를 효과적으로 디코딩하고 수정하는 데 초점을 맞추었습니다.

이러한 AI 기반의 접근 방식은 궁극적으로 GPU 슈퍼컴퓨터와 통합되는 '양자-GPU 슈퍼컴퓨팅' 시대를 열어, 양자 컴퓨팅을 실제 산업 문제 해결에 활용할 수 있는 경로를 제시하고 있습니다.