Oak Ridge, 양자, 클래식 HPC 및 AI 시스템 스택의 통합을 시작하다

양자 컴퓨팅 (Quantum Computing)이 자리를 잡아감에 따라, 클래식 슈퍼컴퓨터 (Classical Supercomputers)와 손을 잡고 빠르게 진화하는 AI 도구들이 제공할 수 있는 역량을 활용하여, 가장 거대한 HPC 시스템조차 해결하지 못할 수 있는 까다로운 계산들을 해결하기 시작할 것이라는 점은 일반적인 이해입니다. 우리는 양자가 나아가고 있는 이러한 방향성과, IBM이 "양자 중심 슈퍼컴퓨팅 (Quantum-centric Supercomputing)"이라 부르는 문제를 해결하기 위해 주요 기업들이 이미 취하고 있는 단계들에 대해 작성해 왔습니다.

이달 초, Big Blue(IBM)는 양자 하드웨어를 사용하여 수행된 가장 큰 규모의 분자 시뮬레이션을 시연했습니다. 이는 Cleveland Clinic과 일본의 RIKEN에서 IBM 양자 시스템에서 구동되는 156-큐비트 (156-qubit) Heron r2 프로세서를 두 대의 클래식 슈퍼컴퓨터인 Fugaku 및 Myaybi-G 시스템과 결합하여 수행되었습니다. 지난 3월, IBM은 양자 및 HPC 시스템을 통합하기 위한 참조 아키텍처 (Reference Architecture)를 출시했습니다.

Nvidia는 슈퍼컴퓨터와 양자 시스템을 더욱 긴밀하게 연결하는 기술을 개발하고 있으며, 이러한 결합의 필요성은 국가적 차원에서 추진되고 있습니다.

현재의 과제는 이러한 시스템들이 가능한 한 원활하게 함께 작동할 수 있는 방법을 찾는 것이며, 이는 하드웨어를 연결하는 것뿐만 아니라 알고리즘 (Algorithms)부터 소프트웨어 (Software), 그리고 그 과정에서 AI가 수행하는 역할에 이르기까지 모든 것을 다루는 것을 의미합니다. 어떤 작업(또는 작업의 어느 부분)이 양자 시스템 대신 클래식 슈퍼컴퓨터에서 실행될 것인지, 그리고 작업들이 양자 시스템과 클래식 시스템 사이를 어떻게 오갈지를 결정하는 메커니즘은 무엇인지가 관건입니다.

테네시주에 위치한 국립 연구 시설인 미국 에너지부(US Department of Energy) Oak Ridge National Laboratory에서 진행 중인 양자 컴퓨터 작업의 우선순위 중 하나가 바로 이것이라고, 국립 계산 과학 센터(NCCS)의 과학 참여 부문 책임자인 Tom Beck은 말했습니다.

Oak Ridge의 양자-HPC 부문 책임자이기도 한 Beck은 The Next Platform과의 인터뷰에서, Oak Ridge 과학자들이 주시하고 있는 핵심 분야는 슈퍼컴퓨터, AI, 그리고 양자(Quantum)의 지속적인 융합이며, 그는 이를 차세대 HPC의 지배적인 영역이라고 불렀다고 말했습니다. Oak Ridge는 미국 최초의 엑사스케일(Exascale)급 시스템인 Frontier가 위치한 곳입니다. Frontier는 AMD의 커스텀 64코어 Epyc 2GHz 프로세서와 Instinct MI250X GPU로 구동되는 HPE의 Cray EX235A 시스템들로 구성되어 있으며, 하드웨어 제조사의 Slingshot-11 인터커넥트(Interconnect)를 통해 연결되어 있습니다. 이 시스템은 출시 4년이 지난 지금도 Top500 리스트에서 두 번째로 빠른 시스템으로 기록되어 있습니다.

AI에 대해서 Beck은 “비즈니스와 과학 전반에 걸쳐 중요성이 폭발적으로 증가하고 있다”고 말하며, 에너지, 국가 안보, 기술 분야의 과학적 발견을 가속화하기 위해 AI 기반의 통합 컴퓨팅 플랫폼을 구축하려는 DOE(미국 에너지부)의 Genesis Mission 이니셔티브를 언급했습니다. 지난 3월, 학제 간 팀들이 DOE가 제시한 26가지 핵심 과제 중 일부를 해결하기 위해 경쟁할 수 있도록 2억 9,300만 달러의 예산을 지원받은 이 프로그램은, 17개 국립 연구소 전체를 Microsoft, Nvidia, OpenAI와 같은 AI 및 슈퍼컴퓨팅 분야의 민간 기업들과 연결합니다.

“양자 컴퓨팅(Quantum computing)은 더 초기 단계에 있지만, 빠르게 발전하고 있으며 우리는 양자 컴퓨팅을 HPC와 어떻게 연결할지 파악하려고 노력 중입니다. 현재 단계에서 양자 컴퓨팅은 25년 전의 GPU와 유사한 가속기(Accelerator)로 볼 수 있습니다”라고 Beck은 말했습니다. “양자 컴퓨팅은 원칙적으로 지수적으로 확장되는(exponentially scaling) 일부 문제들을 다항 시간(polynomial amount of time) 내에 해결할 수 있게 해줍니다. 다시 말해, Frontier와 같은 머신에서도 결코 접근할 수 없었던 문제들을 해결할 수 있다는 뜻입니다. 현재로서는 그런 문제들이 아주 많지는 않습니다. 암호화나 국가 안보 유형의 문제들이 있을 수 있습니다. 그것은 분명히 거대한 응용 분야가 될 것입니다.”

Oak Ridge의 과학자들은 수년 동안 하이브리드 HPC-양자 (HPC-quantum) 환경의 세부 사항을 연구해 왔습니다. 이곳은 Frontier를 수용할 뿐만 아니라, 양자 연구를 지원하기 위해 개인 소유의 양자 프로세서 사용 시간을 개방하는 양자 컴퓨팅 사용자 프로그램 (Quantum Computing User Program)을 운영하고 있으며, DOE의 양자 과학 센터 (Quantum Science Center)를 이끌고 있습니다.

2024년 연구에서 Beck과 다른 ORNL 과학자들은 다양한 기술과 협업할 수 있는 양자 테스트베드 (quantum test beds)를 구축하고, 이러한 테스트베드를 클래식 머신 (classical machines)과 결합하는 등의 아이디어를 제안했습니다. 또한, 클래식 HPC 시스템을 그에 상응하는 양자 시스템과 연결하기 위한 고속 네트워크 개발을 권고했습니다.

양자와 클래식의 협업 방식

Oak Ridge 과학자들이 두 유형의 시스템이 어떻게 함께 작동할 수 있는지 계속 탐구함에 따라, 이러한 기술들은 유용하게 쓰일 것입니다. 예를 들어, Beck은 슈퍼컴퓨터의 소프트웨어 스택이 양자 장치를 제어하고 접근 권한을 제공하는 더 작은 GPU 세트와 연결될 수 있으며, 이를 통해 문제의 일부를 HPC 시스템으로 오프로딩 (offloading)할 수 있다고 지적합니다.

“예를 들어, 양자 장치에서 큰 분자 내의 수많은 전자에 대해 양자 샘플링 (quantum sampling)을 수행한 다음, 해밀토니안 (Hamiltonian), 즉 에너지 함수라고 불리는 것의 샘플링을 통해 얻은 에너지 상태를 해결하는 고유값 문제 (eigenvalue problem, 선형 대수학의 개념)를 전송합니다.”라고 그는 말합니다. “양자 컴퓨터에서 이 거대한 행렬을 대각화 (diagonalize)하는 것은 매우 어렵기 때문에, 그 작업을 HPC 머신으로 오프로딩합니다. 하지만 Frontier와 같은 HPC 머신은 양자 장치에서 수행되는 것과 동일한 방식으로 양자 샘플링을 수행할 수는 없습니다.”

양자 시스템은 또한 매우 복잡한 얽힘 (entangled) 양자 상태와, 분자 내에서 또는 두 분자 사이에서 전자가 이동할 때 어떻게 상호작용하는지를 모델링할 수 있습니다. 그러나 정보는 힐베르트 공간 (Hilbert space)에 담겨 있는데, Beck은 이에 대해 “그것은 2의 n승입니다. 여기서 ‘n’은 큐비트 (qubits)의 수이며, 이것이 이 모든 얽힘이 모델링되는 힐베르트 공간의 차원입니다.”라고 설명합니다.

“모델 내의 양자 상태(quantum states) — 기본적으로 전자 상태의 업(up)과 다운(down) — 를 다시 클래식 머신(classical machine)으로 전송할 수는 있지만, 그 그토록 복잡한 정보를 어떻게 분석할 수 있을까요?”라고 Beck은 말합니다. “우리가 어떻게 물리적 이해를 추출할 수 있을까요? 2의 n승 차원을 단순히 시각화할 수는 없습니다. 인간은 그렇게 할 수 없으니까요. 그렇다면 예를 들어 위상 물질(topological material)을 구동하는 것이 무엇인지에 대해 더 깊은 이해를 얻기 위해 그 정보를 어떻게 처리해야 할까요? 만약 우리가 그 큐비트(qubits) 중 하나를 모델링할 수 있다면, 물질 내의 무언가를 더 효율적으로 만들기 위해 변화를 줄 수 있도록 그것이 실제로 무엇을 하고 있는지 어떻게 이해할 수 있을까요? 그것이 바로 엑사스케일 슈퍼컴퓨터(exascale supercomputer)가 해야 할 일입니다.”

AI의 활용

이제 과학자들은 AI가 어디에 활용될 수 있는지도 탐색하고 있습니다. 한 분야는 오류 수정 (error correction)입니다. 현재 양자 컴퓨팅은 양자 시스템의 오류를 줄이기 위해 단일 논리 큐비트 (logical qubit)를 표현하는 데 많은 물리 큐비트 (physical qubits)를 사용합니다. 하지만 현재 문제는 — 방식(modality)에 따라 다르지만 — 단일 논리 큐비트를 구성하는 데 수십 개에서 수천 개의 물리 큐비트가 필요할 수 있다는 것이며, 이는 양자 컴퓨터를 확장(scaling)하는 데 장애물이 되고 있습니다.

Beck은 AI가 방대한 양의 오류 데이터를 수집하고, 오류가 무엇인지에 대한 신속한 추정치를 실행한 다음, 해당 오류를 수정하려고 시도하는 데 사용되고 있다고 말합니다. 이러한 작업은 클래식 HPC 머신에서 수행되고 있으며, 이는 양자 컴퓨팅을 가속화하기 위해 AI가 사용되는 한 예입니다. 또 다른 분야는 시스템에서 실행되는 회로 (circuits)를 최적화하여 양자를 가속화하는 것입니다.

“특정 프로세스를 실행할 수 있는 방법은 무수히 많지만, AI를 사용하여 이러한 회로를 최적화하면 양자 머신에 필요한 시간을 줄일 수 있으며, 큐비트가 양자 상태를 빠르게 잃어버리는 ‘결맞음 시간 (coherence time)’ 문제를 극복할 수 있을 정도로 가속화할 수도 있습니다.”라고 그는 말합니다. “양자 머신을 최적화하고 오류 수정에 있어 AI의 용도는 분명히 존재할 것입니다.”

동시에, Beck에 따르면 머신러닝 (Machine Learning) 및 AI 분야에서도 양자 컴퓨터가 사용될 가능성이 있습니다.

“양자 컴퓨터를 통해 고차원 공간 (High-dimensional spaces)을 샘플링하는 것에는 이점이 있으며, 이는 고차원 공간에 대한 신속한 샘플링을 통해 AI에서 소위 손실 함수 (Loss function) [모델의 예측값과 정답 사이의 편차를 계산하여 모델의 성능을 측정하는 것]를 최적화하는 데 매우 유용할 수 있습니다.”라고 그는 말합니다. “사람들은 그 측면에서도 연구를 진행하고 있습니다. 그것이 바로 AI를 위한 양자 (Quantum for AI) 기술이 될 것입니다.”