NASA, 미래 우주 임무를 위한 로컬 LLM 추론 테스트 진행

Red Hat은 지난주 제가 Johnson Space Center의 NASA 연구원들과 함께 의료 AI 어시스턴트를 구축하는 이니셔티브를 지원했다는 내용의 블로그 포스트를 게시했습니다. 이 시스템의 명칭은 Crew Medical Officer Digital Assistant (CMO-DA)이며, 클라우드 의존성 없이 로컬 하드웨어에서 LLM 및 기타 모델을 실행합니다. 이들은 추론 (inference) 관리를 위해 RamaLama를 통해 llama.cpp를 사용하고 있습니다.

달이나 화성 임무를 수행하는 우주비행사들은 실시간으로 의사에게 전화를 걸 수 없습니다. 빛의 지연과 통신 두절로 인해 지구 기반의 원격 의료 (telehealth)는... 비현실적입니다. 따라서 NASA는 우주 비행 의료 문헌에 대한 RAG (Retrieval-Augmented Generation)를 활용하여 AI로 승무원들이 의료 증상을 진단하고 치료하는 것을 도울 수 있는 온보드 (onboard) 시스템을 원하고 있습니다.

RamaLama는 llama.cpp 및 기타 추론 엔진 (MLX, vLLM 등)을 래핑(wrap)하는 오픈 소스 CLI 도구 (Red Hat 지원)입니다. 컨테이너 이미지를 가져와 실행하는 것과 동일한 방식으로 모델을 가져오고 실행할 수 있으며, 자동 GPU 감지 및 패스스루 (passthrough) 기능을 제공합니다. 이 프로젝트는 AI 모델을 맞춤형 설치 방식이 아닌 휴대 가능한 아티팩트 (artifact)로 취급하는데, 이는 접근할 수 없는 엣지 (edge) 또는 우주 하드웨어에서 재현 가능하고 암호학적으로 검증 가능한 배포가 필요할 때 매우 중요합니다.

CMO-DA는 클라우드 연결형 개념 증명 (proof of concept)으로 시작되었으나, 이후 팀은 이를 HPE 하드웨어에서 실행되는 비연결형 엣지 배포로 전환했습니다. 이들은 현재 ISS(국제우주정거장)에 탑재된 HPE Spaceborne Computer의 지구상 쌍둥이 모델에서 테스트를 진행하고 있습니다.

NASA가 로컬 우선 (local-first) 아키텍처를 선택한 이유는 다른 대안이 딱히 없었기 때문입니다. 모델은 우주선 내부에 들어가는 어떤 컴퓨팅 자원에서도 실행되어야 하며, 출력 결과는 의료적 결정을 내릴 수 있을 만큼 충분히 신뢰할 수 있어야 합니다.

저는 이것이 로컬 및 오픈 LLM이 미래라는 점을 뒷받침하는 가장 설득력 있는 유스케이스 (use case) 중 하나라고 생각합니다. 여러분도 그렇게 생각하시길 바랍니다!

RamaLama 리포지토리: https://github.com/containers/ramalama