파트너 콘텐츠

더 빠른 슈퍼컴퓨터만으로는 충분하지 않은 이유: 유전체학에서 첨단 컴퓨팅이 중요한 백만 가지 이유

백만 명의 참전 용사들이 국방부(Department of Veterans Affairs)의 “Million Veteran Program”에 등록하며 자신의 유전 데이터를 공유했을 때, 그들은 아무것도 돌려받을 것이라 기대하지 않았습니다. 이는 U.S. Department of Energy (DOE) 산하 Argonne National Laboratory의 데이터 과학 및 학습 부서 소속 선임 과학자인 Ravi Madduri에게 놀라운 일이 아니었습니다. 그는 이 참전 용사들이 데이터를 기부한 조건에 대해 명확하게 설명합니다: “나라에 모든 것을 바친 후에도, 그들은 아무것도 기대하지 않고 더 많은 것을 주기로 마음먹었습니다.”

이 선물은 국가 최대의 생물 저장소(biorepository)이자 세계에서 가장 조상적으로 다양한 참전 용사 데이터 코호트(cohort)를 형성했으며, Madduri는 시카고 대학교 인체 유전학 부서와 공동 임명직을 맡고 있어 이 '빚'을 갚기 위해 노력하고 있습니다.

그는 “이 데이터를 볼 때 제가 느끼는 것은, 이 참전 용사들이 이것을 하게 된 의도에 따라 그들에게 결과를 전달해야 할 의무가 있다는 것입니다”라고 말합니다. 그가 읽어낸 의도는, 참전 용사 여부와 관계없이 다른 사람들이 데이터가 밝혀낼 수 있는 모든 것에서 혜택을 받을 수 있어야 한다는 것입니다.

“우리는 지체할 수 없습니다.” Madduri는 말합니다.

2001년 대학원생으로 Argonne에 도착한 이후, Madduri는 지난 20년간 슈퍼컴퓨팅과 생의학이 교차하는 지점에서 시간을 보내왔으며, 그 시간 대부분을 참전 용사들의 데이터를 외상 후 스트레스 장애부터 심장병, 암까지 영향을 미치는 결과물로 바꾸는 컴퓨팅 시스템 구축에 바쳤습니다.

그는 기계들이 대체로 제 역할을 해왔지만, 귀중한 데이터와 전달되는 결과 사이의 장애물이 항상 더 빠른 기계만으로는 해결되지 않는다고 설명합니다. 이러한 어려움을 이해하는 것이 더 나은 과학으로 가는 길입니다.

수학이 풀지 못한 것들

두 인간 게놈은 수백만 개의 특정 위치에서 다릅니다. 유전체 연관성 연구(Genome-Wide Association Study)는 방대한 양의 데이터에 걸쳐 겉보기에 단순한 질문을 던집니다. 예를 들어, 특정 유전적 변이가 특정 질병과 함께 나타나는가? 그 자체로는 간단합니다. 하지만 테스트할 가치가 있는 모든 변이와 환자 차트에 기록된 모든 질환에 걸쳐 곱해지면, 이는 슈퍼컴퓨터가 해결하도록 존재하는 거대한 수학 문제가 됩니다. 더 어려운 질문은 코드가 그것을 허용하도록 작성되었는지 여부입니다.

Madduri의 팀은 DOE의 Oak Ridge Leadership Computing Facility의 Summit 시스템과 Argonne Leadership Computing Facility의 Aurora 시스템에서 이 문제를 실행했습니다. Summit에서는 팀이 그 작업이 기계의 CPU로는 완료되지 않을 것이라는 사실을 발견했습니다. 코호트(cohort)가 커짐에 따라, 각 그룹에 필요한 분석 행렬은 더 이상 메모리에 들어가지 않았고, 작업은 멈추었습니다.

“우리는 상자를 열어 코드를 살펴보기로 결정했습니다.” Madduri가 말했습니다. 그들은 문제가 단순히 속도 문제가 아니라 코딩 문제라는 것을 발견했습니다.

그 분석은 유전학 커뮤니티가 사용하던 일반 프로세서(ordinary processors)를 위해 작성되었기 때문입니다. 하지만 알고리즘의 근저에는, 이 코드는 거의 모든 시간을 한 가지 일에 쓰는 데 보냈습니다: 매우 큰 숫자 격자를 곱하는 것입니다. 이것이 바로 그래픽 프로세서(graphics processors)가 수행하도록 존재하는 정확한 연산이며, 현대 인공지능 훈련의 엔진을 만드는 요소입니다. Madduri가 언급했듯이, AI 발견을 가속화하는 동일한 계산 아키텍처는 “인구 유전체학(population genomics)의 기초이기도 합니다.” 그래서 Argonne 소속 Alex Rodriguez가 이 노력의 리더로 팀은 코드의 그 부분을 GPU용으로 다시 작성했고, 원래 버전에서 약 481,000 CPU 코어 시간이 걸렸을 분석이 처리 가능해졌습니다. 이러한 변화는 느린 작업을 단순히 빠르게 만든 것 이상을 했습니다. 거의 불가능했던 작업을 가능하게 만들었습니다.

그들이 가속화한 작업은 SAIGE라는 널리 사용되는 유전학 패키지이며, 이로 인해 재작성된 버전인 SAIGE-GPU가 탄생했고 이는 Bioinformatics에 실린 별도의 논문에서 설명되었습니다.

“저희는 이름을 잘 짓지 못합니다. 죄송해요.” Madduri가 수줍게 말했습니다.

SAIGE-GPU 이전에는 거의 모든 유전체 전반 연관성 연구(genome-wide association study)가 질병을 먼저 선택하고 그와 연결된 변이(variant)를 찾는 방식으로 시작되었습니다. Madduri는 이러한 접근 방식의 비용에 대해 솔직하게 이야기합니다.

그는 “생물의학 연구에서 제가 발견한 어려움 중 하나는 매우 점진적이라는 것입니다.”라고 설명합니다. “매년 새로운 데이터셋을 얻고, 데이터를 분석하며, 새로운 유전 변이 세트를 찾게 되는데, 이것이 모든 다른 질병에 걸쳐 발생합니다.” 그가 덧붙인 이유에 따르면 대규모 컴퓨팅 자원에 대한 접근성이 제한적이기 때문입니다.

그의 팀은 점진적으로 나아가지 않기로 선택하고 계산상의 어려움을 한 번에 해결하기로 결정했습니다.

Madduri는 “저희 스스로에게 설정한 과제 중 하나는 이용 가능한 모든 데이터, 즉 Million Veteran Program의 일환으로 시퀀싱된 모든 참전 용사들의 유전 데이터를 모두 가져오는 것이었습니다.”라고 말합니다.

Million Veteran Program 컨소시엄인 이 팀은 Science에 결과를 발표했으며, Madduri의 그룹이 저자 중 한 명이었고, 계산 작업 자체는 Bioinformatics에 별도로 출판했습니다. 이 연구는 635,969명의 참전 용사들을 대상으로 2,068개의 특성(trait)에 대해 보고했으며, 그 결과 유전체 내에서 하나 이상의 질환과 연결된 13,672개의 영역을 찾아냈습니다. 이 중 약 1,600개의 영역은 참가자 거의 3분의 1이 유럽계가 아니었기 때문에 비로소 발견되었습니다. Science 논문에 따르면, 지금까지의 대부분의 유전학 연구는 압도적으로 유럽 혈통의 사람들을 대상으로 이루어졌습니다. 이 1,600개의 연관성은 이전에는 연구된 인구 집단에서는 “보이지 않던” 것이었습니다.

그 조상군 범위는 분석을 어떻게 수행해야 하는지에도 영향을 미쳤다. 그룹들을 단순히 합칠 수 없었다. 즉, 어떤 조건이 한 조상군에서 다른 조상군보다 더 흔하다면, 분석은 진정한 질병 표지자를 그저 해당 그룹에 속한다는 표지자와 구별할 방법이 없다. 각 그룹은 별도로 실행되어야 했고, 결과는 나중에 결합되었다. 1,600개의 연관성은 어느 단일 그룹의 결과에서 존재하는 것이 아니다. 개별 분석을 결합했을 때만 나타난다.

Madduri는 이 전체 과정이 무엇을 의미하고 무엇을 의미하지 않는지에 대해 신중하다.

그는 “이 모든 것은 전임상 단계입니다. 발견 단계입니다.”라고 말한다. 이 분석은 어디를 살펴봐야 하는지에 대한 통계적 지도를 만들어낸다. 그 13,672개 영역 중 어느 하나라도 치료법으로 만들기 위해서는 데이터를 가져와 추적하는 연구원들의 수년간의 후속 작업이 필요하기 때문에 Madduri는 팀이 결코 멈추지 않았다고 말한다.

“우리가 Science 논문을 작성했을 때 14일이 걸리던 것들이 이제 몇 시간도 걸리지 않습니다.”라고 그는 말한다. 이것은 답을 더 빨리 얻을 수 있다는 것을 의미하지만, 진정한 승리는 더 큰 모집단에 동일한 질문을 던질 수 있게 되었다는 점이다. “과거 우리가 발표했던 논문보다 더 큰 코호트 크기와 더 높은 통계적 엄밀함으로.”

데이터가 이동할 수 없을 때

베테랑들의 유전체는 다른 의료 데이터에 비해 특이한 이점을 가지고 있다. 한 기관은 하나의 협약 하에 데이터를 수집했으며, 이것이 그들을 Summit으로 가져올 수 있게 만든 요인이었다. Madduri는 의학에서 데이터가 “우주론 데이터를 공유하는 것처럼 자유롭게 서로 공유될 수는 없다”고 말한다.

대안은 모델을 이동시키는 것이다. 그는 “연합 학습(Federated learning)은 데이터를 옮기지 않고도 모델을 훈련할 수 있게 해줍니다.”라고 말한다. 이것은 각 기관이 이미 보유하고 있는 사내에서 모델을 훈련시키고, 모델이 배운 조정분(adjustments)만 되돌려 보내는 것을 의미한다. 이 조정분들은 단일 업데이트된 모델로 결합되어 모두에게 전달되고, 그 주기가 반복된다.

여러 기관이 아무것도 공유하지 않으면서도 함께 컴퓨팅하도록 어떻게 설득하는지 묻자, 그는 전제를 바로잡는다. “기관의 문제가 아닙니다.” 그가 말한다. “그 수수께끼의 첫 번째 계층은 사람들이 함께 일하고 협력하기를 원하는 것입니다.” 그리고 작동하게 만드는 부분은 이것이다. “사람들의 연합입니다.”

Madduri는 Argonne Privacy-Preserving Federated Learning 프레임워크인 APPFL의 공동 개발자였으며, 이는 데이터를 이동시키기보다는 모델을 ‘이동’시키는 수단을 제공한다. 그 밑단의 메커니즘은 머신러닝(ML)이라기보다는 접근 제어(access control)에 가깝다.

“각 스케줄러마다 코드를 작성할 필요가 없습니다.” 그가 말한다. Globus Compute는 시설들의 스케줄러 전반에 걸쳐 하나의 인터페이스를 제공하며, APPFL은 이를 통해 훈련 작업을 제출한다.

이러한 기술적 어려움에도 불구하고 더 어려운 문제는 권한(permission)이다.

Madduri는 “발생하는 모든 컴퓨팅은 프로젝트 할당과 연결된 승인된 컴퓨팅입니다.”라고 말한다. 연합 학습(Federated training)이란 각 협력자의 작업이 그들이 개인적으로 사용할 자격이 있는 기계에서 그들 자신의 기관 인증서로 실행되어야 함을 의미한다. 다른 누구도 가지지 않은 데이터가 있는 사이트는 모두에게 더 나은 공유 모델을 만든다.

“만약 한 사이트가 독특한 데이터를 가지고 있고 다른 사이트들이 그것을 가지고 있지 않다면, 그러면 모델이 더욱 강력해집니다.”라고 Madduri는 덧붙인다.

여러 개의 다른 세계들

Madduri는 SC01(덴버)부터 꾸준히 SC 컨퍼런스에 참석해 왔다. 당시 테마는 “경계를 넘어(Beyond Boundaries)”였으며, 데이터가 경계를 가로질러 이동하는 데 초점을 맞추었다.

“저는 대학원생이었고, DOE 부스에서 제 석사 논문을 시연했습니다. 당시 논문은 인터넷을 사용하여 대량의 데이터를 한 지점에서 다른 지점으로 안정적으로 이동시키는 것이었습니다.” 그가 말한다. 그 능력은 신뢰할 수 있는 파일 전송(reliable file transfer)이라고 불렸으며, 그의 말에 따르면 “이제 ‘Globus’라고 불리는 것으로 변모했습니다.” 그가 만드는 데 도움을 준 첫 번째 도구는 연구 데이터를 옮겼다. 가장 최신 도구는 데이터가 제자리에 머무르게 한다.

SC01 이후로 매두리(Madduri)는 컨퍼런스에 약 20번 참석했으며, 무엇을 얻어 가는지 구체적으로 말합니다.

그는 “저는 병렬 처리(parallel processing), 사람들이 AI 학습을 어떻게 확장하는지, 사람들이 병렬화(parallelization)를 어떻게 다루는지, 사람들이 자원 활용 모니터링(resource utilization monitoring)을 어떻게 다루는지 배웁니다”라고 언급합니다. 그의 연구 그룹은 매년 암 컴퓨팅 접근법 워크숍(Computational Approaches for Cancer Workshop)에 참석합니다. 최근에는 관심이 AI 에이전트(AI agents) 쪽으로 옮겨갔습니다.

그는 “에이전트 기반 접근 방식(agentic approaches)이 우리에게 다음 개척지입니다”라고 선언합니다.

매두리는 자신이 비정형적인 연구 분야를 거친다는 것도 알고 있습니다. 생물의학(biomedicine) 이전에 그는 고에너지 물리학자, 지진 공학자, 우주론가와 함께 일했습니다.

그는 “SC에 가면 저는 여러 다른 세상에 살게 됩니다”라며, “저는 [결합된] 인간 유전학 컨퍼런스와 슈퍼컴퓨팅 컨퍼런스에 가는 아주 작은 그룹의 사람 중 한 명입니다”라고 말합니다.

아직 부족한 부분 (What Is Still Missing)

매두리에게 그의 빚은 아직 청산되지 않았습니다. 최초의 베테랑들이 등록한 지 10년이 넘었지만, 밀리언 베테랑 프로그램(Million Veteran Program) 데이터는 지도만 만들었을 뿐, 아직 치료법을 만들어내지는 못했습니다. 그 두 가지 사이에 놓인 것은 여러 독립적인 기관들이 하나처럼 컴퓨팅할 수 있도록 하는 작업입니다. 현재까지도 이 작업은 대부분 수작업으로 이루어지고 있습니다.

매두리는 “이전 실험들의 경우, 저희가 NERSC와 이야기하고, 아르고뉴(Argonne)와 이야기하고, 오크리지(Oak Ridge)와 이야기를 했습니다”라고 말합니다. “인간의 개입(human in the loop)이 많습니다.” 그는 DOE의 Genesis Mission 아래 구축되고 있는 American Science Cloud가 이 역할을 맡아주기를 기대하며, “자동화되어 API를 사용하여 실행될 것입니다”라고 합니다.

현재로서는 매두리는 데이터로 승리를 바꾸는 데 초점을 맞추고 있으며, 매우 특별한 코호트(cohort)의 데이터를 사용해 암에 대한 다음 돌파구를 밝히거나 누군가에게 평생의 불안감을 덜어주는 일을 하고 있습니다. 그때까지 그는 좋은 아이디어 하나, 기술적 발전 하나, 그리고 SC 컨퍼런스 하나를 거치며 진전을 기록하고 있습니다.

매두리는 “슈퍼컴퓨팅, 즉 SC와의 연결고리는 길고 매우 풍요롭습니다”라며, “11월에 시카고에서 SC26을 위해 돌아올 것입니다”라고 말합니다.

SC26에서 대화에 참여하세요 (Join the Conversation at SC26)

SC26은 본문에서 설명하는 연구가 의존하는 컴퓨팅 인프라(시스템, 데이터 플랫폼, 네트워크, 스토리지)를 구축하는 사람들을 한자리에 모읍니다.

참석자들은 AI, 양자 컴퓨팅, HPC와 관련된 기술 논문, 워크숍, 튜토리얼, 포스터, 그리고 Birds of a Feather (BoF) 세션에 참여하며, 국가 연구소, 산업계, 학계에서 유사한 문제를 다루는 실무자들과 교류합니다. Madduri 역시 시카고에서 컨퍼런스 데뷔를 하는 멀티미디어 포럼인 SC26 지역 기술 허브(Regional Tech Hub)의 일부가 될 것이며, 이곳에서 고처리량 컴퓨팅 인프라 및 시스템(High-throughput Computing Infrastructures and Systems) 분야에 기여할 예정입니다.

지역 기술 리더들을 조명하는 발견, 협업, 커뮤니티의 한 주를 위해 2026년 11월 15일부터 20일까지 시카고에서 저희와 함께하세요. 지금 등록하세요!

Omniscale 제공