NVIDIA가 Hermes와 Claude를 RTX Spark PC에 탑재하자, 에이전트가 집을 설계했습니다

NVIDIA의 RTX Spark 발표를 보았을 때, 저는 평소와 다름없는 출시 리듬을 예상했습니다. 새로운 칩, 벽면을 가득 채운 사양(specifications), 몇 개의 게임 클립, 그리고 이것이 모든 것을 바꿀 것이라는 약속 같은 것 말이죠.

그런 다음 AI 에이전트가 집을 설계하기 시작했습니다.

에이전트는 부지, 컨셉 스케치, 무드 보드(mood board), 그리고 서면 요구사항을 가져왔습니다. 에이전트는 Rhino를 열어 지형과 건물 외피(building envelope)를 모델링하고, 내부 레이아웃을 생성했으며, 프로젝트를 Blender로 옮긴 뒤 FLUX를 사용하여 실사 같은 렌더링(renders)을 제작하는 데 도움을 받았습니다. NVIDIA는 이 컴퓨터가 클라우드의 Claude Sonnet에 연결된 Hermes 하네스(harness)를 갖춘 오픈 셸 샌드박스(open-shell sandbox)를 실행하고 있다고 밝혔습니다.

그 2분간의 시연은 하드웨어 공개보다 NVIDIA의 계획에 대해 더 많은 것을 말해주었습니다. RTX Spark는 사용자가 에이전트에게 목표를 부여하면 에이전트가 애플리케이션을 조작하는 컴퓨터를 위해 구축되고 있습니다.

Transparent view of an NVIDIA RTX Spark laptop showing its central chip and cooling system

NVIDIA의 공식 RTX Spark 제품 이미지. 출처: NVIDIA RTX Spark.

집 설계 에이전트 시청하기

유용한 부분은 NVIDIA 키노트 영상의 7분 29초부터 시작됩니다. 이 임베디드 클립은 집 설계 워크플로(workflow)가 끝날 때까지 재생되도록 설정되어 있습니다.

NVIDIA는 또한 RTX Spark 출시가 포함된 GTC Taipei의 짧은 비하인드 영상도 게시했습니다:

X에서 NVIDIA의 GTC Taipei 비하인드 영상 시청하기

에이전트가 실제로 수행한 작업

시연은 건축가가 이미 가지고 있을 법한 입력값들, 즉 부지, 거친 스케치, 시각적 참조 자료, 그리고 요구사항에 대한 텍스트 설명과 함께 시작됩니다. 그런 다음 에이전트는 노트북에 설치된 애플리케이션들을 사용합니다.

Rhino를 열고 사이트(site)를 모델링합니다.
지형, setback(건축선 후퇴), 그리고 건물 외피(building envelope)를 형성합니다.
비용, 쾌적함, 품질을 기반으로 형태를 제안합니다.
벽, 동선(circulation), 방, 문, 창문, 그리고 구조적 요소들을 생성합니다.
스스로 저지른 실수 중 최소한 일부를 감지합니다.
디자인 컨텍스트(design context)를 유지하면서 Rhino에서 승인된 모델을 Blender로 내보냅니다.
집을 렌더링하고 FLUX를 사용하여 이미지를 실사처럼(photorealistic) 만듭니다.

인간이 사라지는 것은 아닙니다. 발표자는 자신이 개입하여 결정을 승인하고, 재질을 조정하며, 최종 샷을 선택할 수 있다고 말합니다. 그럼에도 불구하고, 노동의 분업 방식은 우리 대부분이 알고 있는 워크플로(workflow)와는 다릅니다. 사용자는 모든 단계를 일일이 클릭하는 대신 작업을 지시(directing)합니다.

저는 이전에 개발자들이 모든 코드를 직접 작성하는 대신 에이전트를 지시하기 시작했다고 쓴 적이 있습니다. 이 데모는 동일한 아이디어를 전문적인 데스크톱 소프트웨어에 적용합니다.

Claude는 클라우드에 있었습니다

NVIDIA의 설명에는 중요한 세부 사항이 있습니다. Hermes 하네스(harness)는 RTX Spark 시스템에서 실행되고 있었지만, 클라우드에 있는 Claude Sonnet에 연결되어 있었다는 점입니다.

따라서 이것은 Claude가 노트북에서 완전히 오프라인으로 실행되는 것을 보여주는 데모가 아니었습니다. 로컬 컴퓨터는 에이전트 환경과 전문 애플리케이션을 호스팅했습니다. 클라우드 모델이 추론(reasoning)의 최소한 일부를 제공했습니다. 이 점은 데모의 마법 같은 느낌을 줄어들게 만들지만, 훨씬 더 믿을 만하게 만듭니다.

하이브리드 에이전트(Hybrid agents)가 당분간은 실용적인 설계 방식이 될 수 있습니다. 로컬 시스템은 파일을 보유하고, 소프트웨어를 작동시키며, 더 작은 모델을 실행하고, 장기 실행 프로세스를 유지할 수 있습니다. 클라우드 모델은 작업에 더 강력한 추론이 필요할 때 개입할 수 있습니다. 또한 시스템은 비용, 개인정보 보호 요구 사항, 모델 품질의 변화에 따라 모델을 전환할 수도 있습니다.

이것이 바로 제가 모델의 로고보다 하네스 (harness)에 더 흥미를 느끼는 이유입니다. 훌륭한 하네스는 도구 (tools), 파일 (files), 권한 (permissions), 컨텍스트 (context), 그리고 지시 사항과 결과 사이의 루프 (loop)를 관리합니다. 이 계층이 잘 작동한다면, 나중에 Claude를 다른 클라우드 모델이나 유능한 로컬 모델로 교체할 수 있습니다. NVIDIA의 자체 영상에서도 Claude 및 Codex와 함께 로컬 Nemotron 모델을 가능한 옵션으로 언급하고 있습니다.

RTX Spark가 존재하는 이유

NVIDIA의 공식 제품 페이지에는 최대 6,144코어 Blackwell RTX GPU, 20코어 Grace CPU, 1 페타플롭 (petaflop)의 FP4 AI 성능, 그리고 128GB의 통합 메모리 (unified memory)를 갖춘 구성이 나열되어 있습니다. CUDA가 네이티브로 실행되며, NVIDIA는 이 기기를 창작, AI 개발, 게임, 그리고 에이전트 (agents)를 위한 장치로 포지셔닝하고 있습니다.

통합 메모리는 특히 중요합니다. 언어 모델 (language model), 컴퓨터 비전 (computer vision), 코드 실행 (code execution), 3D 도구, 그리고 생성형 미디어 (generative media)를 결합하는 에이전트는 사용자가 일반적인 워크로드를 열기도 전에 많은 메모리를 소비할 수 있습니다. CPU와 GPU가 커다란 공유 풀 (shared pool)에 접근할 수 있게 함으로써 시스템을 이러한 종류의 혼합 작업에 더 적합하게 만듭니다.

NVIDIA의 마케팅 문구는 이례적으로 직설적입니다: "당신의 PC가 단순한 도구에서 팀원으로 격상되었습니다." 이 회사는 사용자가 목표를 설정하는 동안 작업을 수행하고, 에셋 (assets)을 생성하며, 코드를 작성하는 에이전트를 설명합니다.

저는 여전히 컴퓨터를 팀원이라고 부르는 것에 대해서는 신중합니다. 무언가 잘못되었을 때 소프트웨어는 책임을 공유하지 않기 때문입니다. 하지만 의도된 인터페이스는 명확합니다. NVIDIA는 RTX Spark가 단순히 프레임을 얼마나 빨리 렌더링하는가만으로 평가받기를 원하지 않습니다. 그들은 사람들이 해당 컴퓨팅 자원을 하루 종일 사용하는 지속적인 에이전트를 상상하기를 바랍니다.

애플리케이션이 에이전트를 위한 도구가 되고 있습니다

집 데모는 에이전트가 Rhino, Blender, 파일 시스템, 그리고 이미지 모델과 안정적으로 상호작용할 수 있을 때만 작동합니다. 이는 챗봇이 질문에 답하게 만드는 것보다 더 어려운 문제입니다.

기조연설 후반부에 Jensen Huang는 Adobe가 RTX Spark를 위해 Photoshop과 Premiere를 재설계했으며, MCP 서버를 통해 이들을 에이전트 친화적(agent-friendly)으로 만들었다고 말했습니다. 만약 주요 데스크톱 애플리케이션들이 안정적인 도구 인터페이스(tool interfaces)를 노출한다면, 에이전트는 모든 동작마다 마우스 클릭을 흉내 낼 필요가 없을 것입니다. 대신 정의된 연산(operations)을 호출하고, 결과를 검사하며, 워크플로우를 계속 이어갈 수 있습니다.

이는 화면 자동화(screen automation)보다 더 빠르고 덜 취약할 것입니다. 또한 각 도구가 명확한 권한과 감사 추적(audit trail)을 가지고 있다면 더 안전할 수도 있습니다. 예를 들어, 에이전트가 Blender에서 초안을 작성하는 것은 허용되지만, 승인된 최종 제작 파일을 덮어쓰는 것은 차단될 수 있습니다. 에이전트가 누군가의 감시 없이 몇 분 또는 몇 시간 동안 작업할 수 있게 되면, 이러한 종류의 경계 설정이 중요해집니다.

다듬어진 데모는 신뢰성의 증거가 아니다

영상은 인상적이지만, 이는 여전히 출시용 데모일 뿐입니다. 우리는 그것이 몇 번의 시도 끝에 성공했는지, 워크플로우의 어느 정도가 미리 준비되었는지, 에이전트가 얼마나 자주 막히는지, 또는 발표용으로 설계되지 않은 엉망인 프로젝트로부터 스스로 복구할 수 있는지 알 수 없습니다.

이 설정을 유료 작업에 신뢰하기 전에, 저는 몇 가지 지루한 질문들에 대한 답을 듣고 싶습니다:

모든 명령과 도구 호출(tool call)을 확인할 수 있는가?
에이전트가 파일을 삭제, 내보내기 또는 교체하기 전에 사용자에게 묻는가?
잘못된 동작 이후에 프로젝트를 복구할 수 있는가?
클라우드 모델을 사용할 때 어떤 정보가 PC를 벗어나는가?
Rhino, Blender 또는 MCP 서버가 예상치 못한 오류를 반환할 때 에이전트는 어떻게 행동하는가?
동일한 워크플로우가 무대 위에서 단 한 번이 아니라 반복적으로 성공할 수 있는가?

이러한 세부 사항들이 에이전트 기반 PC(agentic PC)가 유용한 도구가 될지, 아니면 단순히 출시 영상을 만드는 데만 능숙한 도구가 될지를 결정할 것입니다.

이것이 AI PC를 위한 더 나은 논거이다

이전에 저는 [DGX Spark가 일반 사용자에게 비싼 개인 AI 슈퍼컴퓨터로서 합리적인지]에 대해 의문을 제기한 적이 있습니다(https://blog.jenuel.dev/blog/nvidia-dgx-spark-ai-pc-future-normal-users). 또한 [Claude 수준의 로컬 AI가 일반 PC에서 언제 실행될 수 있을지]도 조사했습니다(https://blog.jenuel.dev/blog/when-will-claude-level-ai-run-on-a-normal-pc).

RTX Spark는 이 두 가지 질문 중 어느 쪽에도 답을 내리지 못하고 있습니다. 우리는 여전히 실제 가격, 독립적인 테스트, 배터리 결과, 그리고 에이전트 워크플로우가 NVIDIA의 통제된 데모 환경 밖에서도 살아남는지에 대한 증거가 필요합니다. 하지만 사용 사례는 훨씬 더 명확해졌습니다.

컴퓨터가 단순히 누군가가 브라우저를 열고 채팅 상자에 타이핑하는 것을 기다리는 용도라면, 대용량 통합 메모리 풀은 과도한 것 같습니다. 이 시스템이 에이전트를 계속 실행하고, 모델을 로드하며, 시각적 정보를 검사하고, 창의적인 도구를 작동시키며, 여러 애플리케이션 간에 데이터를 이동할 것으로 예상될 때가 더 합리적입니다.

개발자, 건축가, 3D 아티스트, 연구원 및 소규모 팀에게는 비용을 지불할 가치가 있을 수 있습니다. 다른 모든 사람들에게는 유용한 에이전트들이 실제 시간을 절약할 만큼 충분히 신뢰할 수 있게 되는지에 따라 그 가치가 달라질 것입니다. 비싼 컴퓨팅 자원으로 가득 찬 기계가 주인이 오후 내내 자율적인 실수들을 수정하는 데 시간을 보낸다면 도움이 되지 않습니다.

제 생각

집 설계 시퀀스는 'AI PC'라는 라벨이 저에게 단순한 하드웨어 마케팅 카테고리 이상으로 느껴지게 만든 첫 번째 RTX Spark 데모였습니다.

또한 미래가 순전히 로컬 기반이거나 순전히 클라우드 기반일 가능성이 낮다는 것도 보여주었습니다. PC는 환경과 애플리케이션을 처리했습니다. Hermes가 작업을 조정했습니다. Claude가 클라우드 추론을 제공했습니다. 사용자는 감독관 역할을 유지했습니다. 이러한 배열은 노트북이 독립적으로 집을 설계한다고 말하는 것보다는 덜 극적이지만, 사람들이 실제로 사용할 가능성이 더 높습니다.

만약 NVIDIA와 Microsoft가 애플리케이션 도구들을 신뢰할 수 있고, 권한이 부여되며, 검사하기 쉽게 만들 수 있다면, RTX Spark는 다른 종류의 개인용 컴퓨터(Personal Computer)에 대한 초기 사례가 될 수 있습니다. 우리는 프로그램을 하나씩 여는 데 쓰는 시간을 줄이고, 완성된 결과를 묘사하고, 에이전트(Agent)의 작업물을 검토하며, 다음에 무엇을 허용할지 결정하는 데 더 많은 시간을 소비하게 될 것입니다.

나는 아직 그 컴퓨터를 팀원(Teammate)이라고 부를 준비가 되지 않았습니다. 하지만 건물을 아이디어 단계에서 렌더링된 모델(Rendered Model)로 옮겨가는 과정을 지켜본 후, 왜 NVIDIA가 그 단어를 선택했는지 이해하게 되었습니다.

참고 문헌 (References)

원문 게시 위치: https://blog.jenuel.dev/blog/nvidia-rtx-spark-hermes-claude-agent-designed-house

읽어주셔서 감사합니다! 이 기사가 즐거웠고 이런 종류의 콘텐츠를 좋아하신다면, 원하실 경우에만 저에게 커피 한 잔을 사주셔도 좋습니다. 전혀 부담 갖지 마세요. 어떤 경우든 방문해 주셔서 진심으로 감사합니다. ☕️

Buy Me A Coffee

Insights