기조연설 무대에 실제 구급차가 들어왔습니다.
차량 내부의 구급대원으로부터 환자의 바이탈 사인이나 초음파 이미지가 병원 측으로 연달아 도착합니다. 이를 본 '응급실 의사 역할'을 맡은 Mike Sicilia 씨가 수혈을 지시하자, 구급대는 보관소에서 혈액을 꺼내 이송 중에 투여를 시작했습니다. 연출이었지만 차량과 기술 모두 실제였습니다.
이번 Oracle AI World 2026에서는 이러한 업무 현장 사례들을 통해 데이터베이스(Database), 애플리케이션, 클라우드 실행 기반에 이르기까지 폭넓은 내용이 소개되었습니다.
기조연설과 제품 스포트라이트를 총 6개에서 보면서 공통적으로 느낀 점은, AI에게 기업 데이터를 전달하는 것을 넘어 업무의 의미와 권한을 이해시키고, 승인 및 기록을 거쳐 업무를 끝까지 완료시키는 방향성입니다.
이에 이번에는 6개 강연의 주요 장면과 데모를 되돌아보며 Oracle이 기업 AI를 어떻게 구현하려 하는지, 그리고 우리 환경에서는 무엇부터 시작할 수 있을지 정리해 보았습니다.
이번 글은 개최 시간 순서가 아니라, 강연 간 연결성을 따라갈 수 있는 순서로 배열했습니다. 업무의 결과물부터 시작하여, 그것을 만들고 움직이고 보호하는 시스템으로 깊이 파고들고, 마지막에는 산업과 사회의 변화에 대한 시야를 넓힙니다.
| 강연 | 주요 장면 | 기술자로서 가져가고 싶은 질문 |
|---|
| 1. Mike Sicilia / 기조연설 | 출하 계획을 최적화한 AI가 '영수증'을 내놓음 | 누구의, 어떤 업무를, 어디까지 완료시키는가 |
| ... | | |
| 6개 강연을 통해 저는 다음 네 가지가 기업 AI의 토대가 된다고 파악했습니다. 1~5장의 강연은 이 토대의 서로 다른 계층을 깊이 다루었습니다. | | |
마지막 6장, Larry 씨의 강연에서는 이러한 토대들이 산업 전체의 변화로 어떻게 이어지는지 볼 수 있었습니다.
강연 제목: Oracle: Where AI Means Business
30초 요약: Mike Sicilia
- 한마디로: 목표는 'AI를 늘리는 것'이 아니라, '더 많은 것이 가능한 비즈니스'입니다. -
- 주요 장면: 출하 계획을 최적화한 AI가 실행 후에 '영수증'을 내놓음 -
- 핵심 메시지: 누구의, 어떤 업무를, 어디까지 완료시키고, 무엇을 기록으로 남길 것인가
Mike 씨는 도입부에서 AI가 더 이상 '비즈니스에서 무슨 일이 일어나고 있는지'를 전달하는 것에 그치지 않고, '다음에는 무엇이 일어날 수 있는지'를 보여주기 시작했다고 언급했습니다. 나아가 AI가 신뢰할 수 있는 형태로 성과를 내기 위해서는 다음 네 가지가 갖춰져야 한다고 말합니다.
- 적절한 보안 및 권한으로 기업 데이터에 접근할 수 있는 것
- 그 데이터를 업무의 맥락(Ontology) 속에서 이해할 수 있는 것
- 발전에 따라잡을 수 있는 고성능의 경제적인 인프라가 갖춰진 것
- 사람이 일하는 애플리케이션과 프로세스 안에서 움직이는 것
이 네 가지는 이후 강연들이 각각 깊이 다루어 나갈 주제 그 자체입니다.
무대는 출하 도크였습니다. 안전 조끼를 입은 Chris Leone 씨가 시작한 것은 납기, 비용, 적재 용량, 서비스 수준을 동시에 충족하는 배송 계획 개선이었습니다.
먼저 에이전트형 애플리케이션이 수요 위험이 있는 주문 대응이나, '2건을 모으면 1만 2천 달러 절약'과 같은 즉각적인 방안을 제안합니다. 더 무거운 분석 및 최적화는 통제된 에이전트 실행 기반인 Oracle Fusion Claw가 담당합니다.
Claw에 최적화를 지시하자, 주문, 출하, 적재 용량, 설비, 출하일 등의 제약 조건을 추론하여 계획을 반환했습니다. 그 결과는 트럭 적재율이 **61% → 88%**로 높아지고, 절감 예상액은 5만 8천 달러〔데모 값〕였습니다. 하지만 모든 것을 자동으로 처리하는 것은 아닙니다.
1) 근거를 제시하고 사람이 봐야 할 것을 분리한다
변경 대상과 근거는 표나 그래프로 확인할 수 있습니다(Chris 씨 말에 따르면, 계획팀은 '본 그래프는 전부 제품에 넣고 싶어 한다'고 합니다). 검토가 필요한 5건의 적재 건을 계획 담당자에게 넘기고, 나머지 149건을 처리 진행합니다.
2) 실행 직전에 '2분 전과 같은지'를 확인한다
실행 단계에서는 출하나 적재 상태가 계획 때와 변하지 않았는지 재확인한 후에, 117건의 주문 앞당기기 등을 실제로 처리합니다. 계속 변화하는 업무 데이터를 다루는 데 있어 이 부분이 중요합니다.
3) 실행 결과를 Outcome Receipt에 남긴다
누가, 어떤 표준 작업 절차(SOP)에 따라, 무엇을 실행했는지. Chris 씨는 이를 'AI with receipts (영수증이 첨부된 AI). 방금 떠올렸습니다'라고 소개했습니다. AI의 제안과 실제로 수행된 처리를 나중에 추적할 수 있도록 하는 시스템입니다.
강연에서는 75개의 Agentic Applications와 그중 25개의 Claw 대응 애플리케이션이 소개되었습니다. 참고로, Fusion Claw 자체는 행사 전인 9월 29일에 이미 발표되었으며, 이번에는 그 작동 방식과 사용법을 보여주는 자리였다고 정리하는 것이 정확합니다.
| 명칭 | 강연에서 제시된 역할 |
|---|
| Fusion Agentic Applications | 마감일이나 인력 배치 등 업무상의 성과를 위해 24시간 움직이는 시스템 |
| ... | |
| 진입점(Entry point)이 ChatGPT로 바뀌더라도, 보안 및 승인/권한은 Fusion 측에서 처리하며, 실행은 기업의 권한과 승인 범위 내에 두는 설계입니다. | |
Spectrum은 Oracle HCM을 기반으로 하는 'People Central'를 통해 약 10만 명 규모의 인사 업무를 운영하고 있습니다. 시연된 것은 매장 직원 마리아에게 "딸이 병원으로 실려갔다"는 전화가 온 아침을 본인, 상사, HR 세 가지 관점에서 추적하는 시나리오입니다.
| 관점 | 에이전트(Ask HR)가 수행한 작업 |
|---|
| 마리아 (본인) | 규정이나 신청처를 찾지 않고 상황만 전달합니다. 휴가 잔여 일자 확인, 규정에 대한 쉬운 설명, 일정 제안까지 완료하고 원터치로 신청합니다. 상사 및 HR에게 보낼 연락문 초안도 작성했습니다. |
| ... | |
| 급여 변경이나 절차의 예외 사항, 직원 기록과 같은 민감한 정보는 사람에게 남긴다는 선을 명확히 했습니다. 도입 초기부터 IT, 보안, 법무, HR 부서에서 용도를 검토하며 거버넌스(Governance)를 '브레이크가 아닌 액셀러레이터'로 활용했다는 이야기도 인상적입니다. | |
약 1,500개 매장과 8,000명을 보유한 QSRP의 사례에서는 매장의 주문 장애와 배송 클레임을 다루었습니다.
매장 관리자: 스마트폰에 "실패 주문 급증" 알림이 뜹니다. Uber Eats 주문이 처리되지 않는 원인에 대해 에이전트가 재시작을 제안합니다. 바쁜 시간을 피해 재시작을 예약하고 승인하는 것만으로 문제가 해결됩니다.
- 지역 관리자: 실패 주문의 오류를 교차 분석하여, Uber Eats 연동 설정이 하나 빠진 패턴을 특정했습니다. 여러 매장의 미비점을 한 번에 수정할 수 있습니다.
- 배송 클레임: 매장을 떠나기 전에 찍은 사진과 고객 측 사진을 OCI Vision으로 비교합니다. 만약 "감자튀김은 매장 출발 시 완벽했다"면, 클레임을 매장 측의 책임으로 돌리지 않습니다. NetSuite와 연동하여 배송 사업자와의 계약 재검토까지 염두에 둡니다.
QSRP의 Sophie 씨는 시도 과정에서 얻은 교훈 두 가지를 언급했습니다. 데이터가 갖춰지면 AI 자체는 어렵지 않다는 점, 그리고 매장 관리자에게 필요한 것은 새로운 알림이 아니라 무슨 일이 일어나고 무엇을 해야 하는지를 5초 이내에 이해하는 것과 현장의 신뢰라는 것입니다.
도입부에서 언급된 구급차 시연에서는 경찰의 바디 카메라가 현장 안전 확인과 환자 ID 판독을 담당하며, 그 ID를 이용해 병원의 전자의무기록(EHR)과 대조하여 과거력 요약본을 준비합니다. 구급대원은 모니터의 원격 측정(Telemetry) 및 외상 평가 데이터를 보내고, 엣지 측 AI로 분석한 초음파 이미지도 공유했습니다.
Mike 씨는 이 시나리오에서 AI가 사람의 판단을 우회하지 않았다고 강조했습니다. 사람이 단순히 "루프 안에 있는" 것이 아니라, **핸들을 잡고 있는 것은 인간(humans behind the wheel)**이라는 것입니다. 실제 차량과 기술을 사용한 데모를 통해 의료적 판단은 사람이 담당한다는 전제가 깔려 있습니다.
여기서 변화하는 점은 AI가 업무 중간 단계의 조사나 판단 자료 정리까지 맡아, 승인 후 실행에 이르기까지 연결된다는 것입니다.
따라서 검증할 때도 "정확한 답변이 나왔는지" 외에도 "필요한 승인으로 멈췄는지", "최신 상태를 확인했는지", "무엇을 실행했는지 추적 가능한지"를 확인하고 싶습니다. Outcome Receipt의 개념은 저희가 직접 에이전트를 만들 때도 그대로 적용할 수 있을 것 같습니다.
강연 영상: Mike Sicilia
강연 제목: Now That AI Works, What Are We Going to Do With It? (AI가 작동하니, 우리는 무엇을 할 것인가?)
30초 만에: Clay Magouyrk
한마디로: "AI는 모든 것을 바꾼다"를 Oracle 자체의 수치와 개발/보안/인프라 변화로 증명하러 온 강연입니다.
- 하이라이트: AI가 섞은 악성 패키지가 빌드 환경의 키(Key)를 노린 실제 사례 / NVIDIA부터 Jalapeño까지, 각 사의 AI 실리콘이 한 장에 나열된 슬라이드 / Sam Altman 씨 "컴퓨터 안에서 공장을 돌리는 것 같다".
- 핵심 메시지: AI로 만든 것을 어떤 기반 위에서 구동하고, 누가/어떤 권한으로 배치하며, 공유하고, 보호하고, 폐기할 것인가.
전날 기조연설 전 음악 라이브를 맨 앞줄에서 듣고 "소리가 너무 크다... 나도 부모님과 같은 말을 하기 시작했다"라며 자학적인 이야기로 시작한 Clay 씨. 본론은 2년 전에 이벤트명을 CloudWorld에서 AI World로 바꾼 이후의 주장인 'AI는 모든 것을 변화시킨다'를 증거로 보여주는 것이었습니다.
| Oracle사 내부 변화 [내부 수치] | Before → After |
|---|
| 지원 요청 평균 해결 시간 | 3.5시간 → 16분 |
| ... | |
| Mike 씨의 강연에서 본 업무 성과를 어떻게 만들고, 어떤 기반 위에서 구동하며, 배포하고, 지속적으로 보호할 수 있는지. 그 시각으로 읽어보면 두 개의 강연이 연결됩니다. | |
Rob Clark 씨와의 대담에서는 AI의 역할이 확장될 때마다 보안 과제가 변화해 온 과정이 이야기되었습니다.
| AI의 역할 | 발생한 일 | 교훈 |
|---|
| 질의응답(Q&A) | 지원용 LLM에서 기밀 정보나 할인 코드를 빼내려는 공격 | 사용자 입력을 신뢰하지 않는다. 최전선 시스템에 기밀 정보를 두지 않아야 한다 |
| ... | | |
| 결론은 AI 벤더와 합의한 기업 전용 통제 기능을 사용하는 것이었습니다. 이 통제에 대응하는 새로운 모델이나 기능이라면 전사적으로 배포할 수 있게 되었고, 개발자의 만족도 또한 높아졌다고 합니다. | | |
Oracle 내부에서는 소스 코드에서 가설을 세우고, 테스트 환경에서 실증하며, 패치를 만드는 루프를 24시간 돌리고 있습니다. Rob 씨는 "버그가 새로운 것은 아니다. AI가 심은 것도 아니다"라며 오히려 "패치가 줄어들고 더 안전한 소프트웨어의 시대가 될 것"이라며 낙관적이었습니다.
이어 Clay 씨는 에이전트(Agent) 시대의 인증 및 권한 부여를 세 가지로 정리했습니다.
- 사람 본인 확인: '사람에 의한 승인'은 실제로 사람이 있어야만 기능합니다. 얼굴, 목소리, 지문 등의 생체 인식으로 승인자를 확인하는 OCI Identity Assurance를 OCI Identity and Access Management에 통합해야 합니다.
- 에이전트 ID: 에이전트에게 이메일이나 PC 전체를 맡기게 되면 "밤중에 취해서 보낸 메일은 나 때문인지, 에이전트 때문인지"로 분쟁이 생길 수 있습니다. 대량으로 생성 및 삭제할 수 있는 전용 에이전트 ID를 마련해야 합니다.
- 필요할 때만 권한 부여: 작은 권한부터 시작하여 필요한 순간에만 단시간 동안 권한을 높입니다. 특정 작업은 사람의 승인을 필수화해야 합니다.
Oracle AI Security Mesh 데모에서는 가상의 제조 기업 North Star 환경을 파악하고, "미로그인 상태에서도 주문 API를 읽을 수 있다", "설정 미비로 인해 다른 시스템에도 도달할 수 있다"는 공격 경로를 찾아냈습니다. 또 다른 에이전트가 해당 경로의 실재 여부를 검증한 후 수정안을 정리하고, 코딩 에이전트가 API를 수정하며, 클라우드 구성 권한도 축소합니다. 마지막으로 차단되었음을 확인하고 완료합니다. AI의 지적을 그대로 확정적으로 받아들이지 않고, 성립하는지를 검증하는 것이 핵심입니다.
Clay 씨는 AI가 인프라를 가장 명확하게 변화시킨 부분은 '무엇을 만들 것인가'라고 말합니다. 2023년에는 새로 설치되는 컴퓨팅 자원 중 기존 방식이 AI용보다 크게 많았습니다. 그런데 지금은 AI용이 기존 방식을 압도하고 있습니다 [내부 수치].
| 시기 | 강연에서 되돌아본 변화 |
|---|
| 2017년~2023년 | NVIDIA P100부터 H100까지. 전력 밀도, 네트워크 규모, 클러스터 규모가 함께 커짐 |
| ... | |
| 슬라이드에는 OCI에서 다루는 AI 실리콘이 학습용 대규모 GPU부터 추론 특화 칩까지 나열되어 있었습니다. | |
| 벤더 | 슬라이드에 나열된 제품 | Clay 씨의 설명 |
|---|
| NVIDIA | P100, V100, A100, H100, H200, GB200, GB300, Vera Rubin | 오랫동안 AI 가속기의 선두 주자. Vera Rubin은 제공 시작 |
| ... | | |
| 제공 시기는 제품마다 다릅니다. 제공 상황은 3장(Mahesh 씨)의 표에서 정리했습니다. | | |
올해 Acceleron의 확장은 백엔드에 들어간 기술을 프론트엔드에도 가져오는 것이었습니다. 프론트엔드 네트워크도 멀티플레인(multi-plane)이 되어 내고장성 및 성능이 향상됩니다. 게다가 프론트엔드 네트워크에서도 RDMA를 사용할 수 있게 되었습니다.
이것이 효과를 발휘하는 것은 새로운 스토리지와 결합했을 때입니다. NetApp과의 제휴를 통해 첫 번째 파티(first party)인 NetApp 서비스를 OCI에 준비했으며, Weka, VAST, DDN 등 AI용 스토리지를 위한 파트너 프로그램도 Acceleron에 통합했습니다 (슬라이드에는 Cloudian, Hammerspace도 나열되어 있습니다). 이제 어떤 AI 가속기에서든 Acceleron의 RDMA를 통해 스토리지와 데이터를 주고받을 수 있게 되었습니다.
슬라이드의 중앙에서, Acceleron이 각 회사의 실리콘과 스토리지를 사이에 두고 위치했던 것이 상징적이었습니다. 선택할 수 있는 실리콘이 많아질수록, 그것들을 데이터에 연결하는 네트워크가 성능을 좌우하게 됩니다.
컴퓨팅 담당 EVP인 Pradeep Vincent 씨와의 대담은 AI 인프라 전체를 하나의 거대한 컴퓨터로 생각해야 한다는 이야기에서 시작되었습니다. 고성능 컴퓨팅 장비를 좁은 공간에 밀집시키고 강력한 네트워크로 연결하기 위해서는 전력, 냉각, 네트워크를 완전히 다른 관점에서 고려해야 합니다.
네트워크: 1초의 지연이 '28 GPU 시간'으로
학습 과정에서 단 하나의 GPU가 네트워크 패킷을 기다리느라 멈추기만 해도 클러스터 전체가 느려집니다. 10만 GPU 규모의 클러스터에서 한 대가 1초 지연되면, 학습 전체로는 28 GPU 시간 분량의 지연이 발생합니다. Pradeep 씨는 이를 '거대한 정체'라고 표현했습니다.
그래서 Acceleron은 단순히 이중화된 링크에 그치지 않고, 이중화된 네트워크 자체를 갖추고 있습니다. 모든 GPU가 서로 완전히 독립적인 여러 개의 네트워크 면(network plane)에 연결되어 있어, 어느 한 면에 문제가 생기면 NIC나 GPU 측에서 패킷을 완전히 다른 네트워크로 우회시킬 수 있습니다.
전력: '100만 대의 히터를 동시에 켜고 끄는 경우'
전력망에서는 발전 측과 소비 측이 줄다리기를 하며 서로를 안정화시키고 있습니다. 발전소가 멈췄을 때 대규모 소비자가 과도하게 반응하여 한 번에 부하를 끊으면, 전력망 자체가 오히려 흔들릴 수 있습니다. 따라서 부하는 전력망과 협조하며 천천히 빼야 합니다.
Pradeep 씨는 AI 특유의 어려움을 히터에 비유했습니다. 1kW짜리 히터 한 대를 켜고 끄는 것은 전력망이 신경 쓰지 않습니다. 하지만 100만 가구의 히터를 같은 밀리초(millisecond) 단위로 계속 켰다 껐다 한다면, 전력 회사가 '그만해 달라'고 할 정도입니다. AI 클러스터의 부하는 바로 그러한 동기화된 부하입니다.
대책은 배터리 저장 장치(충방전이 매우 빈번할 경우 슈퍼커패시터도)와 전력 제어의 조합입니다. 클러스터의 부하가 갑자기 높아지면 저장 장치가 일부를 메꾸고, 갑자기 떨어지면 저장 장치가 충전을 시작합니다. 이렇게 하여 전력망 관점에서 본 부하 변화를 완만하게 만듭니다. Clay 씨는 이를 '전기 버전의 거대한 쇼크 업소버'라고 요약했습니다.
리전: 3개 랙에서 수천 에이커 규모의 캠퍼스까지
Oracle의 리전은 단지 3개의 랙으로 구성된 전용 리전부터, 수백만 평방 피트(square feet)에 달하는 수천 에이커 규모의 AI 캠퍼스까지 다양합니다. Clay 씨는 AI가 리전을 '어디에', 그리고 '어떻게' 만들 것인지 자체를 변화시키고 있다고 말했습니다.
전력, 냉각, 데이터센터의 규모와 위치, 네트워크, 스토리지, 그리고 가속기. 인프라의 모든 계층이 AI로 인해 급격하게 변하고 있다는 것이 이 파트의 요지였습니다.
오랫동안 APEX에 참여해 온 Chris Rice 씨는 APEX의 진정한 강점은 기업 애플리케이션을 계속 구동시켜 온 런타임(runtime)에 있었다고 회상했습니다. 이에 따라 앱 정의를 APEXlang이라는 언어로 분리하고, AI 에이전트에게는 정의 생성을 맡기고 실행은 통제된 런타임에 위임하는 설계 방식을 채택했습니다.
'왜 Python 등으로 표준화하지 않는가?'라는 질문에 대한 답변이 명확했습니다. 사내 ID 관리 정책이 바뀔 때, 생성된 앱이 하나라면 수정하기만 하면 됩니다. 하지만 전사적으로 1,000개의 앱이 있다면, 1,000개의 Python 프로그램과 컨테이너를 모두 수정해야 합니다. 공통 런타임에 통합된 ID 연동이라면, 그 부분은 런타임 측에서 일괄 관리할 수 있습니다. AI에게는 **필요한 것 중 가장 높은 추상도(abstraction)**만을 전달해야 한다는 말도 남겼습니다.
Oracle App Composer 〔LA〕 데모에서는 마케팅 담당자 Nina가 Codex로 만든 출시 캘린더를 IT 부서가 승인한 프로파일(라이브러리, 보안, 데이터 규칙)에 따라 OCI에 배포하고, 사내 URL 및 회사 싱온으로 팀과 공유했습니다. IT 관리자인 Alex는 앱을 관리하더라도 업무 데이터에는 접근할 수 없으며, AI가 중복된 앱이나 사용되지 않는 앱, 소유자가 없는 앱을 찾아내어 재고 조사(inventory)를 돕습니다.
APEXlang은 앱의 정의와 실행 방식을, App Composer는 만들어진 앱의 배포(deployment), 공유, 운영을 담당합니다. 역할을 나누어 이해하면 좋을 것 같습니다.
Oracle AI Workspace 데모는 주요 고객인 North Star가 2주 후에 새로운 물류 센터를 개설하는 상황에서 시작됩니다. 공급업체의 지연으로 인해 제어 장치 70대가 제때 도착하지 못했습니다. 금요일까지 전달되지 않으면 개설이 지연됩니다.
Workspace는 Oracle AI Database에서 대체품 사양을, 회의 녹취록에서 고객 수용 조건을, 팀 채팅에서 창고 재고 상황을 모아 Fusion Agentic Applications와 Fusion Claw를 이용해 배송 계획을 수립합니다. 예산을 확인하여 주문 변경을 제안하지만, 필요한 승인이 없으면 아무것도 변하지 않습니다. 승인 후 계획이 실행되고, 마지막으로 이 흐름을 App Composer로 앱화하여 팀이 반복적으로 사용할 수 있게 했습니다.
개인적으로 흥미로운 점은 업무 요구 사항이 구조화된 데이터베이스 안에만 있는 것은 아니라는 것입니다. 회의나 채팅에 남겨진 조건들 역시 계획 실행 여부를 좌우합니다.
Oracle Media Fabric [LA] [예정]: 이미지 및 비디오 생성, 제작 워크플로우, 배포(distribution), 시청 경험을 하나의 시스템으로 바라본 제품군입니다.
- Creative Studio: 대본에서 스토리보드를 만들고, 그린백으로 촬영한 출연자를 요트나 우주 정거장 장면으로 옮깁니다. 소재의 출처 및 권리 관리도 다룹니다.
- Video Edge: 시청자에게 가까운 엣지(Edge)에서 배포를 최적화합니다. Media over QUIC을 사용하여 대역폭이 제한적일 때는 음성과 중요한 프레임을 우선시하여 "빙글빙글 돌아가는 로딩 표시"를 줄입니다.
- Adaptive Media Platform: 라이브 중계 도중에 시청자별 광고 버전을 생성하여 전달합니다.
강연에서는 일부 고객에게 한정 제공 중이며, 내년 초에 전개될 것이라고 언급되었습니다. 공식 발표에 따르면 향후 12개월 이내 제공 예정입니다.
후반부에는 OpenAI의 Sam Altman이 강연자로 나섰습니다.
Altman에 따르면, 8월에 출시된 GPT-6은 역대 가장 빠르게 보급된 모델입니다. 그는 4년 전에는 초등학교 산수도 풀지 못했던 모델이 이제는 미해결 수학 난제에 도전하고 있는 등 변화의 속도를 되돌아보았습니다.
최신 도구를 사용하는 느낌은 "컴퓨터 안에서 공장을 운영하는 것 같다"고 말했습니다. 막히지 않고 아이디어에서 아이디어로 이동할 수 있기 때문에, 이전에는 시도하지 않았을 "성공하면 크지만 가능성이 낮은" 방향도 시험해 볼 수 있다고 했습니다. Clay는 자신을 개발자라고 생각하지 않았던 사람이 앱을 만들기 시작하는 현장이야말로 App Composer를 만든 이유에 답한다고 응답했습니다.
보안에 대해 Altman은 "기업에게 단 하나만 추천한다면, Codex로 생산성을 높이는 것보다 AI가 가져오는 위협을 이해하고 대비하는 것"이라고 말했습니다. Clay는 "AI가 버그를 만드는 것이 아닙니다. 과거 50년 분량의 버그를 AI가 찾아내고 있는 것입니다"라고 말을 이었습니다.
마지막 주제는 AI에 의한 과학 및 기술 발견이었습니다. Altman은 AI가 반도체 설계에 매우 능하며, 추론용 칩 Jalapeño 역시 AI 덕분에 예상보다 빠르게 제작할 수 있었다고 말하고, 이를 OCI에 도입하는 것도 소개했습니다.
관련 공식 발표에서는 Oracle AI Workspace, App Composer, AI Security Mesh, AI SMB Bundle이 협업 대상으로 정리되었습니다. OpenAI 공식 발표
누구나 앱을 만들 수 있게 되면 다음으로 중요해지는 것은 사내 로그인, 데이터 권한, 배포(deployment), 모니터링, 업데이트, 소유자 관리, 그리고 더 이상 사용하지 않는 앱의 폐기입니다. Clay의 강연은 생성형 AI를 통한 생산성 이야기인 동시에, 만든 것을 안전하게 계속 운영할 책임에 대한 이야기도었습니다.
인프라 측면도 마찬가지입니다. 선택 가능한 실리콘이 많아질수록, 그것들을 데이터와 연결하는 네트워크나 전력까지 포함하여 안정적으로 구동시키는 설계가 요구됩니다.
강연 영상: Clay Magouyrk
강연 제목: Powering the Next Era of Enterprise AI
30초 요약: Mahesh Thiagarajan
한마디로 요약하면: 단순히 GPU만 빨라도 업무가 끝나지 않습니다. CPU, 스토리지, 네트워크, 전력까지 포함하여 '1달러당 작업량'을 높여야 합니다.
주목할 만한 장면: “먹고 싶은 만큼의 케이크만 먹고, 나머지는 냉장고에 보관하세요” / AI 작업이 중단되면 소비 전력이 급격히 떨어져 발전 터빈까지 멈출 수 있습니다.
핵심 시사점: GPU 시간이나 토큰 단가가 아니라, 업무 한 건을 올바르게 완료하는 데 드는 비용으로 비교해야 합니다.
Clay 씨가 제시한 앱이나 에이전트를 기업에서 안정적으로 구동하려면 무엇이 필요할까요? Mahesh 씨는 먼저 AI 도입을 어렵게 만드는 세 가지 과제를 언급했습니다.
- 비용 (Cost): 모델이 똑똑해질수록 작업당 토큰 사용량이 늘어납니다. 제공하는 컨텍스트가 부적절하면 막대한 양의 토큰이 낭비됩니다.
- 메모리 (Memory): 모델의 대형화로 메모리 수요가 급증하면서, 업계 전반의 부족 현상이 비용을 끌어올리고 있습니다.
- 보안 (Security): 강연에서는 지난 1년간 보안 침해가 56% 증가했다고 설명했습니다〔강연 수치〕. 기존 취약점을 AI가 빠르게 발견하는 것과 에이전트가 의도한 이상의 접근 권한을 갖는 것에 대한 대책이 필요합니다.
그 위에 제시된 목표는 빠른 CPU를 탑재하는 것이 아니라, OCI에 지불하는 1달러당 시스템 전체로서 더 많은 작업을 완료시키는 것이었습니다.
에이전트 형태의 처리에서는 CPU 위에서 구동되는 제어 프로그램이나 도구와 GPU 등의 액셀러레이터 위에서 구동되는 모델 추론이 연계됩니다. 계획 수립 및 판단을 위한 추론과, 도구를 사용한 실행이 왕복하기 때문에 CPU 측의 처리 또한 전체 속도에 영향을 미칩니다. 네트워크, 스토리지, CPU 중 어느 한 곳이라도 병목 현상이 발생하면 고가의 액셀러레이터가 대기하게 됩니다.
Mahesh 씨는 Flexible Compute에 대해 “클라우드 사업자가 당신이 먹을 케이크의 크기를 결정해서는 안 된다. 원하는 만큼만 먹고, 나머지는 냉장고에 보관하라”고 비유했습니다. CPU와 메모리를 워크로드에 맞춰 선택할 수 있다는 점이 특징입니다.
더 나아가, 행사 전인 10월 14일에 일반 제공이 발표된 **Dynamic Resource Virtual Machines (DRVM)**는 VM에 설정한 OCPU 개수와 메모리 용량을 유지하면서, 백그라운드의 물리 CPU 및 메모리 할당을 OCI가 효율화하는 구조입니다. 공식 블로그에서는 대상 E6 Flex 구성에서 OCPU와 메모리 요금을 Standard 구성 대비 10% 할인한다고 설명했습니다. 단순히 사용하지 않은 메모리 양만큼 비용에서 차감하는 방식과는 구별하여 이해해야 합니다. 대상 Shape과 리전은 제한적입니다.
CPU는 AMD, NVIDIA, Intel, Arm 계열까지 선택지를 갖추었습니다. OpenAI는 에이전트의 샌드박스 실행에 NVIDIA Vera CPU를 사용할 계획이며, NVIDIA 발표자는 다이(die)당 88코어를 탑재하고 모든 코어가 머신 전체 메모리 대역폭을 온전히 사용할 수 있다는 설계를 설명했습니다. 대담에서는 대규모 AI 환경을 구동하기 위해 전력/냉각부터 펌웨어, 네트워크, 운영까지를 “콘크리트에서 칩까지” 공동으로 개선해 온 이야기도 나왔습니다.
Mahesh 씨는 “슈퍼 클러스터의 좋고 나쁨은 그것을 연결하는 네트워크로 결정된다”고 말합니다. 대규모 분산 처리에서는 일부 통신의 지연이나 고장이 다른 컴퓨팅 자원을 한꺼번에 대기 상태에 빠뜨리기 때문입니다. 2장에서 Pradeep 씨가 설명한 “1초의 지연이 28 GPU 시간으로 이어진다”는 문제에 대한 해답이 Acceleron입니다.
Oracle Acceleron이 단순한 이중화 링크를 넘어, 독립적인 여러 네트워크면(Multiplanar Networking)을 갖추고 있는 이유가 바로 이것입니다. 어느 한 면에 문제가 생기면 다른 면으로 경로를 전환합니다. 이번 확장 내용은 다음과 같습니다.
| 확장 | 강연 설명 |
|---|
| 프런트엔드로의 RDMA (Oracle Acceleron High-Performance Fabric) | 백엔드만 지원하던 RDMA를 프런트엔드까지 확대하여, 노드에서 데이터/스토리지까지의 레이턴시를 최대 10배 개선〔강연 수치〕 |
| ... | |
백엔드에서의 분산 AI 통신과, 프런트엔드에서의 컴퓨트/스토리지 등의 통신은 역할을 나누어 이해해야 합니다. 네트워크를 빠르게 할 뿐만 아니라, 비정상적인 경로를 피해 처리를 계속할 수 있다는 것이 성능과 비용 양쪽에 효과적입니다.
AI 클러스터는 하나의 거대한 계산기처럼 동기화되어 움직이기 때문에, 전력 수요도 일제히 급등했다가 떨어집니다. 2장에서 Pradeep 씨가 “100만 개의 히터”에 비유했던 문제입니다.
Mahesh는 전력망에 연결되지 않은 자체 발전의 경우 이 문제가 더욱 심각해진다고 설명했습니다. 가스터빈은 허용 가능한 출력 변화 속도가 있는데, 네트워크 불안정으로 학습 작업이 중단되면 랙 전체 소비전력이 급격히 떨어져 터빈까지 멈출 수 있습니다. 이를 위해 랙 단위 평활화와 UPS의 저전압 유지 시간(Low Voltage Ride Through) 기술로 부하 변화를 완화하고 있습니다. 또한, 동기 조상기를 결합한 왕복 엔진(VoltaGrid), 연료 전지, 재생 가능 에너지를 혼용하여 "지역 전력 사용에 영향을 주지 않는다"는 원칙을 지키고 있다고 합니다. GPU를 설치하기 전에 AI 부하를 모사하여 전력 설비를 시험하는 장치도 소개되었습니다.
Mahesh에 따르면 Snowflake on OCI [예정]은 "Snow CI"입니다. Snowflake를 OCI의 퍼스트 파티 서비스로 제공할 계획이며, 기존 Oracle 클라우드 계약(Universal Credits)으로 구매할 수 있고, Oracle 데이터 근처에서 구동하여 데이터 전송 비용이 발생하지 않는다고 설명했습니다. 같은 OCI 상에 있더라도 대상 데이터와 연결 방식은 개별적으로 확인하고 싶습니다.
스토리지의 경우, 2장에서 언급했듯이 OCI NetApp Storage Service를 퍼스트 파티로 제공하며, Weka, VAST, DDN 등 AI용 스토리지도 Acceleron의 RDMA로 연결할 수 있습니다.
2장에서 Clay 씨의 슬라이드에 나열된 실리콘 제품들을 제공 현황별로 정리하면 다음과 같습니다.
