본고는 LinkedIn에 게재했던 기사의 내용을 전재한 것입니다.
원문 기사는 여기를 참고해 주세요.
[일본어]
AI 도입을 가로막는 것은 모델만이 아니다
생성형 AI의 PoC(Proof of Concept) 단계에서는 작동하는 데모 자체를 만드는 것이 이전보다 쉬워졌습니다. 공개 모델이나 API, 애플리케이션 프레임워크를 조합하면 짧은 기간 안에 채팅 화면이나 검색 기능을 구현할 수 있습니다. 하지만 기업의 실제 데이터를 다루고 여러 부서가 지속적으로 이용하는 본연(운영) 시스템 단계에서는 다른 어려움이 표면화됩니다. 데이터의 위치, 접근 권한, 업데이트 빈도, 모델 선택, 추론 기반(Inference platform), 네트워크, 애플리케이션, 모니터링, 변경 관리 등을 하나의 운영 설계에 연결해야 하기 때문입니다.
PoC 환경에서 작동했던 코드가 본연의 인증 방식이나 네트워크 제약 하에서는 작동하지 않는 경우가 있습니다. 이용자가 늘어나면 응답 시간이나 GPU 할당량이 변하고, 데이터가 업데이트되면 검색 인덱스 재구축이 필요합니다. 개발자가 현장에서 만든 설정이나 절차가 문서화되어 있지 않으면 운영팀이 재현할 수 없어 인수인계 과정에서 정체됩니다. 소프트웨어 엔지니어의 관점에서 볼 때, AI 도입의 병목 현상은 모델의 추론 성능에만 국한되지 않으며, 의존 관계를 포함하는 시스템 전체를 재현 가능하고 유지보수 가능한 형태로 만들 수 있는지 여부입니다.
본고에서는 생성형 AI에 종사하는 소프트웨어 엔지니어로서 개인적인 고찰을 더하며, Dell AI Factory with NVIDIA를 제품 이름의 나열이 아닌, AI 기획부터 본연 운영까지 지탱하는 전체 프레임워크로 파악합니다.
'AI Factory'는 하나의 장비나 소프트웨어가 아니다
Dell AI Factory with NVIDIA는 Dell의 인프라, 소프트웨어, 서비스와 NVIDIA의 가속 컴퓨팅(Accelerated Computing), AI 소프트웨어, 네트워킹, 파트너 에코시스템 등을 조합하여 AI 기획, 구축, 전개, 운영을 지원하는 프레임워크입니다. 단일 서버, 단일 소프트웨어, 또는 모든 고객이 동일한 구성을 도입하는 일체형 제품을 의미하지 않습니다. 필요한 구성 요소를 워크로드나 요구사항에 따라 선택하는 모듈러(Modular) 개념이 기본 바탕에 있습니다.
이 개념을 이해하려면 명칭의 차이를 파악할 필요가 있습니다. Dell AI Data Platform with NVIDIA는 AI Factory를 지원하는 데이터 기반이며, 기존 데이터의 연결, 처리, 검색, 분석 등을 AI 워크로드에 연결합니다. Dell Automation Platform(DAP)은 블루프린트(Blueprint)를 이용해 대상 구성의 배포 및 라이프사이클 운영을 자동화합니다. Dell AI Ecosystem Program은 파트너의 소프트웨어와 솔루션을 검증하고 참조 구성이나 재사용 가능한 블루프린트로 연결하는 에코시스템 구조입니다. Dell Services는 설계, 도입, 최적화, 운영 각 단계를 지원합니다.
특히 'Dell AI Platform', 'Dell AI Data Platform', 'Dell Automation Platform'은 유사한 단어를 포함하지만 별개의 것으로 취급해야 합니다. 공개 기사에서는 처음 언급할 때 정식 명칭을 기재하고 약어는 명확히 정의한 후에만 사용해야 합니다. 'DAIP'처럼 여러 명칭를 연상시키는 약어는 피해야 합니다. 호칭의 모호함은 제품의 역할이나 책임 경계까지 모호하게 만들기 때문입니다.
전체 구조를 소프트웨어 의존 관계로 읽기
AI 시스템은 모델을 배치한다고 완성되는 것이 아닙니다. 데이터를 가져와 전처리하고, 검색과 추론(Inference)을 실행하며, 결과를 이용자나 다른 시스템에 반환합니다. 기반 시설은 각 처리를 필요한 성능·용량·가용성으로 구동시킵니다. 게다가 인증, 모니터링, 로그, 업데이트, 백업, 장애 복구 등이 주변을 둘러쌉니다. 각 계층의 선택지가 늘어날수록 유연성은 높아지지만, 호환성이나 연결 확인도 증가합니다.
이 의미에서 AI Factory의 가치는 각 요소의 존재 자체보다 구성 간의 관계를 설계하고, 검증된 조합이나 서비스를 활용할 수 있다는 점에 있습니다. 예를 들어 추론 워크로드를 생각한다면, 필요한 모델과 소프트웨어, 데이터 연결, 네트워크, 스토리지 용량, GPU 처리량, 이용자 수, 모니터링 방법을 함께 고려해야 합니다. 학습(Training)이나 파인튜닝(Fine-tuning)이라면, 데이터 준비, 스토리지 읽기, GPU 간 통신, 실험의 재현성, 결과물 관리가 추가됩니다.
NVIDIA와의 협업도 GPU에만 국한되지 않습니다. 가속 컴퓨팅 외에도 AI 소프트웨어와 블루프린트, 네트워크, 특정 워크로드용으로 검증된 구성 등 여러 계층에서 연관됩니다. 어떤 기능이 실제로 포함되는지는 구성에 따라 다르기 때문에, 공개할 때는 '모든 AI Factory에 일률적으로 부착된다'고 해석될 수 있는 표현을 피해야 합니다.
고객의 검토를 '과제에서 역산'하는 접근 방식
현실적인 검토는 GPU나 서버 선택부터 시작할 것이 아니라, 비즈니스 과제(業務課題)부터 시작해야 한다. 사내 문서를 활용한 지식 검색을 예로 들면, 먼저 대상 사용자, 답변에 사용 가능한 데이터, 업데이트 빈도, 접근 권한, 오답 발생 시 처리 방안 등을 결정한다. 다음으로, 문서를 어디서 가져올지, 어떻게 전처리할지, 검색 및 추론(Inference)을 어떻게 수행할지, 그리고 그 결과를 어떤 애플리케이션에 반환할지 설계한다. 이후 모델, 소프트웨어, 데이터 기반 시설(Data Foundation), 추론 환경, 모니터링 및 보안 기능을 선택하게 된다.
PoC(Proof of Concept) 단계에서는 단순히 기능이 작동하는지 여부뿐만 아니라, 품질, 응답 시간, 동시 이용자 수, 비용, 장애 발생 시 복구 능력, 운영 공수까지 측정한다. 성공 조건을 충족한 구성을 제한된 환경에서 실제 운영에 준하여 재현하고, 데이터 업데이트, 소프트웨어 업데이트, 권한 변경, 부하 증가에도 견딜 수 있는지 확인해야 한다. PoC에서 본 운영(Production)으로의 이행은 단순히 사용자 수를 늘리는 것이 아니라, 변화가 생겨도 관리할 수 있는 시스템으로 옮기는 것을 의미한다.
이 과정에서 Dell AI Data Platform은 데이터 흐름을 지원하며, DAP는 청사진(Blueprint) 기반의 대상 구성 배포 및 운영을 지원하고, Ecosystem Program은 검증된 파트너 솔루션 선택지를 넓혀준다. Dell Services는 고객이 필요로 하는 설계나 구현 지원을 보완한다. 파트너들은 자사의 모델이나 업무 애플리케이션을 기반으로 연결하여 특정 과제에 초점을 맞춘 솔루션을 공동으로 검토할 수 있다.
고객 가치 및 파트너 가치, 그리고 그 한계
고객에게의 가치는 요구 사항에 맞춰 구성을 선택하고 통합·검증된 옵션을 활용함으로써, 연결성이나 호환성에 대한 조사 부담을 줄이고 본 운영화(Productionization)로 나아갈 로드맵을 검토할 수 있다는 점에 있다. 필요에 따라 확장 및 변경이 가능한 모듈성(Modularity) 역시 모든 워크로드를 동일한 설계에 강제하지 않는 장점이 될 수 있다. 파트너에게는 Dell과 NVIDIA의 기반 시설 및 고객 접점을 자사의 업무 지식, 모델, 애플리케이션, 서비스와 연결할 기회가 주어진다.
하지만 전체 프레임워크를 도입한다고 해서 본 운영 AI나 ROI(투자 수익률)가 자동으로 얻어지는 것은 아니다. 업무 과제 선정, 데이터 품질, 권한 설계, 모델 평가, 사용자 교육, 운영 체계는 여전히 중요하다. '검증됨'이라는 단어 역시 대상 하드웨어, 소프트웨어 버전, 지역, 테스트 범위, 지원 조건 등을 확인해야만 구체적인 의미를 갖는다. 통합된 구성이라 할지라도 고객 고유의 데이터나 업무 애플리케이션과의 연결에는 추가적인 설계 및 시험이 필요할 수 있다.
가치가 부족하기 쉬운 경우는 업무 과제나 성공 지표가 모호한 상태에서 포트폴리오 전체를 도입 목표로 삼는 경우이다. 먼저 하나의 업무 흐름을 선택하고, 답변 품질, 사용자 작업 시간, 응답 시간, 운영 공수, 비용, 위험 등 무엇을 개선하고 싶은지 정의해야 한다. 작게 시작하여 결과를 측정하고, 어떤 구성 요소가 가치에 기여했는지 확인하는 것이 투자 판단과 기술 판단 모두에 유효하다.
다음 단계는 '구성'보다 '성공 조건'을 작성하는 것
Dell AI Factory with NVIDIA를 검토할 때 가장 먼저 준비해야 할 것은 제품 목록이 아니라, 대상 업무, 데이터, 사용자, 성공 지표, 운영 책임 등의 목록이다. 그 위에서 필요한 성능이나 용량, 데이터 위치, 보안 요구 사항, 운영 능력을 대조하여 검증 범위와 구성을 결정한다. 고객에게는 요구사항 정리 및 구성 상담이, 파트너에게는 검증 또는 공동 솔루션 상담이 실질적인 진입점이 된다.
'AI Factory'라는 명칭을 AI를 공장처럼 자동으로 만들어내는 시스템으로 해석하면 오해가 생길 수 있다. 실제로는 AI 워크로드를 만들고, 연결하고, 배포하고, 운영하기 위한 역할과 구성을 정리하는 프레임워크이다. 실험을 본 운영에 연결하는 것은 제품명이 아니라, 명확한 과제, 재현 가능한 설계, 측정 가능한 성과, 그리고 지속적인 운영 그 자체이다.
구현 흐름 추적: 사내 지식을 예로 들기
사내 지식을 사용하는 어시스턴트를 구축할 경우, 사용자 화면부터 모델까지의 과정을 구체적으로 그려보면 전체 프레임워크의 의미를 파악하기 쉽다. 사용자가 질문을 입력하면, 애플리케이션이 본인의 권한을 확인한다. 검색 계층(Retrieval Layer)은 허가된 문서에서 관련 정보를 가져오고, 모델은 질문과 근거 자료를 받아 답변을 생성한다. 응답과 참조 원문을 사용자에게 반환하고, 필요한 로그는 적절한 기간 동안 보관한다.
이 플로우에서는 데이터 소스 연결 및 업데이트, 검색/분석 처리, 추론에 필요한 컴퓨팅 자원, 소프트웨어 배포 방식, 인증 및 모니터링 등 각각의 요소가 다른 역할을 수행합니다. Dell AI Data Platform with NVIDIA는 데이터 측 구성 요소를 지원하며, NVIDIA의 소프트웨어와 GPU는 대상 처리를 가속화할 수 있습니다. DAP(Dell AI Data Platform)는 대응하는 블루프린트를 통해 구성 배포 및 라이프사이클 운영을 지원하고, 파트너 솔루션은 구체적인 검색이나 업무 애플리케이션을 담당합니다. 서비스는 요구사항 정의, 연결, 운영 설계 등을 보완합니다. 이처럼 사용자 한 번의 조작이 여러 레이어를 가로지르는 것이 단일 제품 설명만으로는 전달하기 어려운 핵심 포인트입니다.
동시에 누가 어느 계층을 변경할지, 장애 발생 시 어떤 로그를 확인할지를 결정해야 합니다. 예를 들어, 검색 결과가 부적절할 때 그 원인이 모델 생성 문제인지, 인덱스 신선도(freshness) 문제인지, 검색 랭킹 문제인지, 사용자 권한 문제인지, 아니면 원문서 품질 문제인지를 파악해야 합니다. 책임자나 관측점(observation point)을 정하지 않고 구성만 갖추어도 문제의 범위를 나누기 어렵습니다.
운영 환경 전환 판단은 기능 확인만으로 끝나지 않는다
운영 환경 전환(Production readiness)을 판단하려면, 기능 테스트 외에도 품질, 성능, 가용성(Availability), 보안성(Security), 운영 용이성(Operability), 비용까지 동일한 유스케이스 내에서 평가해야 합니다. 품질 측면에서는 대표적인 질문에 대한 정확성, 근거의 타당성, 답변 불가 시의 동작 등을 확인합니다. 성능 측면에서는 평균 응답 시간뿐만 아니라 부하가 높을 때의 지연 시간(latency), 동시 실행 수, 데이터 업데이트 시의 영향을 측정합니다. 보안성 측면에서는 권한 외 데이터 참조, 기밀 정보 출력, 프롬프트 인젝션(Prompt Injection), 도구 조작 경계 등을 테스트합니다.
운영 면에서는 모델이나 라이브러리의 업데이트, 취약점 대응, 백업, 데이터 삭제, 장애 발생 시 롤백(rollback)이 가능한지 확인해야 합니다. 비용 측면에서는 GPU나 스토리지뿐만 아니라 전력, 클라우드 이용료, 라이선스, 유지보수, 운영 인력까지 포함합니다. 예를 들어 '요청당 비용'을 산출하려면 모델, 입력 및 출력 길이, 활용률(utilization), 캐시, 검색 처리 과정, 측정 기간 등을 명확히 기재하지 않으면 비교에 사용할 수 없습니다.
모듈러 설계는 자유도와 선택 부담을 동시에 가진다
구성을 요구사항에 따라 조합할 수 있다는 것은 특정 용도에 불필요한 기능을 강제하지 않는다는 장점이 있습니다. 반면, 선택지가 많을수록 어떤 컴포넌트를 선택할지, 누가 지원할지, 어떤 버전을 조합할지를 결정해야 하는 부담이 생깁니다. 모듈러라는 것이 통합 설계가 필요 없다는 것을 의미하지는 않습니다.
특히 PoC(Proof of Concept) 과정에서 자체 모델이나 오픈소스 라이브러리를 추가했을 경우, 표준화된 검증 구성과 어느 부분이 달라졌는지 기록하는 것이 중요합니다. 고객 고유의 커스터마이징은 가치를 창출하지만, 업데이트 시 재검증 범위나 장애 발생 시 책임 범위를 늘릴 수 있습니다. 어디까지 표준화하고 어디부터 차별화를 위해 변경할 것인지를 아키텍처적 판단으로 남기는 것이 중요합니다.
운영 환경 전환 전의 아키텍처 판단
운영 구성을 결정할 때는 온프레미스(On-premise), 클라우드, 하이브리드 배치 선택뿐만 아니라, 어떤 환경에 데이터를 보관하고, 어디서 모델을 실행하며, 누가 관리할지를 하나의 도표로 정리해야 합니다. 데이터 저장 위치와 추론 위치가 다를 경우, 네트워크 경로, 전송량, 암호화, 지연 시간(latency), 장애 발생 시 동작 방식이 달라집니다. 데이터를 외부로 이동시키지 않는 설계라 하더라도, 운영자나 서비스에서 접근할 수 있는 경로, 로그에 남는 정보, 백업처 등을 확인하지 않으면 기대하는 데이터 보호를 실현하기 어려울 때가 있습니다.
다음으로 가용성(Availability)과 확장성(Scalability) 목표를 분리하여 정의해야 합니다. 사용자가 늘어났을 때 가장 먼저 늘려야 할 것은 추론 노드인지, 검색 처리인지, 스토리지 대역폭인지? 모델 업데이트 중에도 서비스를 지속할 필요가 있는지? 장애로 일부 GPU나 노드가 정지했을 때 어떤 기능을 축소하고 어느 서비스 수준 목표(SLO)를 유지할 것인지. 이는 AI Factory라는 프레임워크 이름에서 자동적으로 결정되는 것이 아니라, 워크로드와 업무의 우선순위에 기반하여 선택해야 할 설계 사항입니다.
또한 모델이나 소프트웨어의 라이프사이클을 하드웨어 조달 계획과 분리해서 생각해서는 안 됩니다. 모델 업데이트 빈도가 높다면, 업데이트 후 성능 검증 및 재배포에 걸리는 시간이 중요해집니다. 하드웨어 교체 주기가 긴 환경에서는 소프트웨어 호환성과 지원 기간을 추적하고, 업데이트를 위한 검증 환경과 롤백 방법을 준비해야 합니다. 단순히 추론을 시작할 수 있는지를 넘어, 변경 사항을 안전하게 지속할 수 있는지가 운영 환경의 지속 가능성을 좌우합니다.
도입 효과를 고객의 업무 지표에 연결하기
AI 기반 투자를 판단하기 위해서는 GPU 가동률이나 처리 능력 외에도, 도입 대상 업무의 핵심 지표를 결정할 필요가 있습니다. 예를 들어, 검색 어시스턴트라면 답변의 정확성뿐만 아니라 사용자가 목적 정보에 도달하는 시간, 답변 후 재질문율, 담당 부서로 에스컬레이션되는 비율, 접근 권한 오류 건수 등이 후보가 될 수 있습니다. 문서 처리가 목표라면 처리 건수뿐만 아니라 확인 작업이 포함된 건당 소요 시간이나 오추출 수정 공수를 살펴봐야 합니다.
도입 전에 기준값을 설정하고 대상 사용자, 데이터 범위, 측정 기간을 통일하여 도입 후의 값과 비교합니다. 가능하다면 제한된 이용자 그룹에서 단계적으로 전개하면서 업무의 계절적 변동이나 다른 정책에 의한 영향도 기록해야 합니다. 사용자가 편리하다고 느끼는 것도 중요하지만, 그것만으로 장기적인 비용 대비 효과(ROI)를 단정할 수는 없습니다. 업무상의 성과와 운영 및 유지보수 비용을 동시에 추적함으로써 다음 투자나 확장을 합리적으로 판단할 수 있습니다.
이러한 측정 방식은 벤더가 공표하는 값을 고객의 ROI로 직접 치환하지 않도록 하는 데도 도움이 됩니다. 공개된 성능 값이나 사례는 그곳에서 사용된 구성, 데이터, 부하에 대한 결과일 뿐입니다. 고객 환경에서는 기존 프로세스, 데이터 품질, 이용률, 추가 통합 비용이 다릅니다. 따라서 고객 고유의 기준값에 비추어 검증하는 것이 기술적 기대를 업무 가치로 연결하는 현실적인 방법입니다.
PoC에서 운영(Production)으로 나아가는 종료 조건 정의하기
PoC를 시작할 때는 성공 조건뿐만 아니라, 종료 조건과 다음 단계로의 이행 조건도 정의해 두어야 합니다. 어떤 질문 그룹/이용자/데이터 범위를 평가할지, 허용 가능한 오류나 지연은 어느 정도인지, 접근 권한이나 로그에 대한 요구사항은 무엇인지를 사전에 합의해야 합니다. 평가가 종료될 때는 결과를 '성공'과 '실패'라는 이분법적 선택으로 기록하지 않고, 업무 효과, 기술적 제약, 미해결 리스크, 다음에 필요한 작업을 구분하여 기록합니다.
PoC를 통해 유효성이 확인되었다 하더라도, 운영 환경(Production)으로 전환하기 위해서는 데이터 오너의 승인, 보안 심사, 운영 담당자의 수용, 장애 대응 절차, 예산 확보 등이 필요합니다. 이러한 역할들이 평가 후에 처음 참여하게 되면, 기술적으로는 작동했지만 실제로는 운영할 수 없는 구성이 될 수 있습니다. 기획 단계부터 이용 부서, IT, 데이터, 보안, 조달을 참여시켜 의사결정 담당자를 명확히 해야 합니다.
또한, PoC를 위해 완화했던 권한이나 임시적인 데이터 연결을 그대로 본 운영 환경에 가져오지 않습니다. 검증 환경과 본 운영 환경의 차이점을 목록화하고 이행 전에 해소해야 합니다. 구성 재현(reproducibility), 부하 시험(load testing), 권한 시험, 업데이트 및 복구 훈련을 통과해야만 비로소 본 운영 도입 준비가 되었다고 판단할 수 있습니다.
참고 자료
[English]
파트 1: Dell AI Factory with NVIDIA란 무엇인가? 실험 단계의 AI를 운영 단계로 전환하는 총체적 관점
모델만이 AI 도입을 지연시키는 유일한 요인은 아니다
생성형 AI(Generative AI) PoC 작업에서는 작동하는 데모를 구축하는 것이 예전보다 쉬워졌습니다. 공개적으로 사용 가능한 모델, API, 애플리케이션 프레임워크를 결합함으로써 팀들은 채팅 인터페이스나 검색 기능을 빠르게 구현할 수 있습니다. 그러나 목표가 실제 기업 데이터를 처리하고 여러 부서가 지속적으로 사용할 운영 시스템을 만드는 경우, 다른 종류의 어려움이 발생합니다. 데이터 위치, 접근 권한, 업데이트 빈도, 모델 선택, 추론 인프라(inference infrastructure), 네트워킹, 애플리케이션, 모니터링, 변경 관리 등 모든 것이 단일 운영 설계에 통합되어야 합니다.
개념 증명(PoC) 환경에서 작동하는 코드는 실제 운영 환경의 인증 방식이나 네트워크 제약 조건 하에서는 실패할 수 있습니다. 사용자 수가 증가함에 따라 응답 시간과 GPU 할당량이 변동될 수 있으며, 데이터가 업데이트되면 검색 인덱스를 재구축해야 할 수도 있습니다. 개발자가 즉석에서 만든 설정과 절차가 문서화되어 있지 않다면, 운영팀이 이를 재현하지 못할 수 있고, 이관 과정이 지연될 수 있습니다. 소프트웨어 엔지니어의 관점에서 볼 때, AI 도입의 병목 현상은 모델 추론 성능에만 국한되지 않습니다. 의존성을 포함한 전체 시스템을 얼마나 재현 가능하고 유지보수 가능하게 만들 수 있느냐도 문제입니다.
본 기사에서는 제가 생성형 AI(Generative AI)에 참여하는 소프트웨어 엔지니어로서의 개인적인 경험과 Dell AI Factory with NVIDIA에 대한 시각을 결합했습니다. 이는 단순히 제품 이름 목록이 아니라, 계획 단계부터 실제 운영(production operations)까지 AI를 지원하는 포괄적인 프레임워크로 접근합니다.
“AI 팩토리”는 단일 하드웨어 또는 소프트웨어가 아니다
Dell AI Factory with NVIDIA는 Dell 인프라, 소프트웨어 및 서비스와 NVIDIA 가속 컴퓨팅(accelerated computing), AI 소프트웨어, 네트워킹, 파트너 생태계 및 기타 역량을 결합하여 AI의 계획, 구축, 배포 및 운영을 지원하는 프레임워크입니다. 이는 모든 고객이 동일한 구성으로 배포하는 단일 서버, 단일 소프트웨어 제품 또는 통합 제품을 의미하지 않습니다. 그 근본적인 접근 방식은 모듈식(modular)이며, 워크로드와 요구 사항에 필요한 구성 요소를 선택하는 것입니다.
이러한 접근 방식을 이해하려면 이름들을 구분하는 것이 중요합니다. Dell AI 데이터 플랫폼 with NVIDIA는 기존 데이터를 AI 워크로드(workloads)에 연결하여 접근, 처리, 검색, 분석 등 다양한 목적으로 사용할 수 있게 하는 데이터 기반 구조입니다. Dell 자동화 플랫폼(DAP)은 블루프린트(blueprints)를 사용하여 지원되는 구성 요소의 배포 및 라이프사이클 운영을 자동화합니다. Dell AI 에코시스템 프로그램은 파트너 소프트웨어와 솔루션을 검증하고 이를 레퍼런스 구성 및 재사용 가능한 블루프린트에 연결하는 메커니즘입니다. Dell 서비스는 설계, 배포, 최적화 및 운영을 통해 고객을 지원합니다.
특히 “Dell AI 플랫폼,” “Dell AI 데이터 플랫폼,” 그리고 “Dell 자동화 플랫폼”은 유사한 단어를 포함하고 있지만 별개의 제품군으로 취급해야 합니다. 대외적인 문서 작성 시에는 처음 언급할 때 전체 공식 명칭을 사용하고, 약어는 명확하게 정의한 후에만 사용하는 것이 좋습니다. 여러 다른 이름을 연상시킬 수 있는 “DAIP”와 같은 약어는 피해야 합니다. 무언가를 무엇이라고 부르는지에 대한 모호함은 그 역할과 책임의 경계에 대해서도 모호함을 초래할 수 있기 때문입니다.
소프트웨어 종속성 집합으로서 전체 그림 읽기
AI 시스템이 단순히 모델을 설치했다고 해서 완성되는 것은 아닙니다. 데이터는 수집(ingested)되고 전처리되어야 하며, 검색 또는 추론(inference)이 수행되어야 하고, 그 결과가 사용자나 다른 시스템으로 반환되어야 합니다. 근본적인 플랫폼은 각 프로세스를 요구되는 성능(performance), 용량(capacity), 가용성(availability)을 가지고 실행해야 합니다. 이 레이어들 주변에는 인증(authentication), 모니터링(monitoring), 로깅(logging), 업데이트, 백업, 재해 복구(disaster recovery) 등이 둘러싸고 있습니다. 각 레이어마다 선택지가 많을수록 시스템은 더 많은 유연성을 제공하지만, 동시에 호환성 및 통합에 대한 질문의 수도 증가하게 됩니다.
이러한 관점에서 AI Factory의 가치는 개별 구성 요소가 단순히 존재하는 것보다 그들 간의 관계를 설계하고 검증된 조합과 서비스를 활용하는 능력에 더 크게 있습니다. 예를 들어, 추론(inference) 워크로드를 고려할 때는 필요한 모델 및 소프트웨어, 데이터 연결성, 네트워킹, 스토리지 용량, GPU 처리량(throughput), 사용자 수, 모니터링 접근 방식 등을 종합적으로 고려해야 합니다. 학습(Training) 또는 미세 조정(fine-tuning)의 경우, 데이터 준비, 스토리지 읽기 성능, GPU 간 통신, 실험 재현성(reproducibility), 아티팩트 관리(artifact management) 등이 추가됩니다.
NVIDIA와의 협력은 단순히 GPU에 국한되지 않습니다. 이는 가속 컴퓨팅(accelerated computing), AI 소프트웨어 및 청사진(blueprints), 네트워킹, 특정 워크로드를 위한 검증된 구성 등 여러 계층에 걸쳐 있습니다. 실제로 포함되는 기능이 구성별로 다르기 때문에, 대외적인 설명은 모든 AI Factory가 모든 것을 균일하게 포함한다고 해석될 수 있는 언어를 피해야 합니다.
고객의 문제로부터 역추적하기
