무료 청소의 대가는 카메라: 실제 가정에서 로봇 에이전트를 훈련시키는 스타트업 Shift를 만나다

Shift라는 새롭고도 논란이 되고 있는 스타트업이 뉴욕 시민들에게 믿기 힘들 정도로 좋은 제안을 하고 있습니다. 바로 전문적인 가정 청소를 무료로 제공하는 것입니다. The Verge의 보도에 따르면, 함정은 모든 대걸레질, 모든 조리대 닦기, 그리고 모든 진공청소기 작업이 미래의 로봇 에이전트 (Robot Agents)를 훈련시키기 위해 기록되고 있다는 점입니다.

이 회사는 홍보 영상에서 "오늘 청소되는 모든 가정은 내일 스스로 청소하는 가정을 위한 토대를 마련합니다"라고 밝히고 있습니다. 이는 체화된 AI (Embodied AI)의 약속과, 수십 년 동안 로봇 공학 연구자들을 좌절시켜 온 매우 실제적인 물류적 과제인 복잡한 물리적 작업에 대한 고품질의 실제 세계 훈련 데이터 (Real-world training data) 확보를 결합한 제안입니다.

작동 방식

방식은 다음과 같습니다. Shift의 플랫폼을 통해 청소를 예약합니다. 전문 청소부가 "마법 모자"를 쓰고 귀하의 집에 도착합니다. 이 모자는 청소부의 시점에서 모든 것을 포착하는 머리 장착형 카메라 리그 (Head-mounted camera rig)입니다. 그들은 문지르고, 대걸레질하고, 진공청소기를 돌리고, 먼지를 털고, 정리합니다. 귀하는 무료로 깨끗한 아파트를 얻게 됩니다. Shift는 숙련된 인간에 의해 수행되는 실제 세계의 청소 작업에 대한 수 시간 분량의 1인칭 시점 영상을 얻습니다.

Shift의 공동 CEO이자 공동 창업자인 Bercan Kilic에 따르면, 각 청소에서 생성되는 훈련 데이터의 가치는 서비스 비용을 충분히 상회합니다. 회사의 웹사이트에는 숨김없이 다음과 같이 적혀 있습니다: "귀하는 깨끗한 아파트를 얻습니다. 우리는 훈련 데이터를 얻습니다. 모두가 승리합니다."

이 서비스는 현재 뉴욕에서만 이용 가능하며, "매우 곧" 샌프란시스코, 런던, 취리히, 뮌헨으로 확장할 계획입니다.

프라이버시 계산

물론 핵심 질문은 귀하의 집 내부 영상이 어떻게 처리되느냐 하는 것입니다. Shift는 웹사이트에서 고객의 "프라이버시는 완전히 보호된다"고 밝히고 있으며, 이름, 얼굴, 화면 및 신분증의 개인 정보와 같은 민감한 세부 정보는 AI 훈련에 사용되기 전에 **흐릿하게 처리(Blurred) 및 익명화(Anonymized)**된다고 설명합니다.

"저희의 청소 인력은 Shift의 직원은 아니지만, 파트너사를 통해 검증을 거칩니다"라고 회사는 FAQ에서 밝히고 있습니다. 이러한 구분은 책임 소재(Liability)와 데이터 처리 표준에 대한 의문을 제기합니다.

Shift는 이미 15개국에서 수만 명의 사람들에게 모바일 앱을 통해 일상 활동을 기록하도록 비용을 지불하고 있습니다. 이번 청소 서비스는 더 통제되고 작업 특화된 데이터 수집(Data collection)으로의 확장을 의미합니다. 즉, 구조화되어 있고 반복 가능하며, 로봇 에이전트(Robotic agents)를 훈련하는 데 직접적으로 적용할 수 있는 영상 데이터(Video footage)를 수집하는 것입니다.

이것이 AI 에이전트에게 중요한 이유

Shift의 접근 방식은 범용 가정용 로봇으로 가는 경로에 있는 근본적인 병목 현상인 **훈련 데이터의 품질과 규모(Training data quality and scale)**를 강조합니다.

Embodied AI에서의 데이터 문제

대규모 언어 모델(LLM)은 공개된 인터넷 전체를 통해 학습할 수 있는 반면, 물리적 세계를 탐색해야 하는 로봇에게는 다음과 같은 요소가 필요합니다:

작업 특화 시연 (Task-specific demonstrations) — 인간이 빨래를 접거나, 팬을 문지르거나, 조리대를 닦는 방식
환경적 변이 (Environmental variation) — 서로 다른 주방 구조, 조리대 높이, 조명 조건
실패 복구 데이터 (Failure recovery data) — 인간이 어떻게 움켜쥐는 힘을 조절하거나, 물체를 재배치하거나, 잘 지워지지 않는 얼룩을 닦아내는지에 대한 데이터

합성 데이터(Synthetic data)와 시뮬레이션(Simulation)이 인상적인 발전을 이루었지만, 시뮬레이션과 실제 세계 성능 사이의 간극, 즉 유명한 "심투리얼(Sim-to-real)" 전이 문제(Transfer problem)는 여전히 상당합니다. Shift와 같은 기업들은 방대한 양의 실제 인간 시연 데이터를 수집하는 것이 이 간극을 메우는 가장 빠른 길이라고 확신하고 있습니다.

"더 더러울수록 좋습니다." — Shift의 FAQ에는 훈련 목적으로 "더 도전적인 청소 환경이 특히 유용할 수 있다"고 명시되어 있습니다.

시장 맥락

Shift의 모델은 새로운 데이터 수집 전략을 사용하여 AI 에이전트(AI agents)를 훈련하는 기업들의 광범위한 트렌드에 부합합니다. 유사한 접근 방식은 다음과 같은 분야에서 사용되어 왔습니다:

자율 주행 (Autonomous driving) — Waymo와 Tesla는 인간이 운전한 데이터를 포함하여 수십억 마일의 주행 기록을 쌓았습니다.
창고 로봇 공학 (Warehouse robotics) — Amazon의 Pegasus 시스템은 인간 피커(picker)들로부터 학습합니다.
수술 로봇 (Surgical robots) — 수천 시간 동안 기록된 수술 절차를 통해 훈련된 시스템들입니다.
주방 로봇 (Kitchen robots) — Moley 및 Dexai와 같은 스타트업들은 인간 셰프들을 기록합니다.

Shift가 차별화되는 점은 가치 교환(value exchange) 방식입니다. 데이터 라벨러(data labelers)나 크라우드워커(crowdworkers)에게 비용을 지불하는 대신, 프리미엄 서비스(전문적인 가정 청소)를 데이터와 직접 맞교환합니다. 이는 경제성만 맞다면 확장 가능한 비즈니스 모델입니다.

청소를 넘어

Shift의 야망은 바닥을 닦는 것에 그치지 않습니다. 이 회사의 영상은 배관, 요리, 심지어 건설 분야로의 미래 확장을 예고하며, 자신들의 데이터 수집 모델을 다양한 도메인에 걸쳐 로봇 에이전트(robotic agents)를 훈련시키기 위한 범용 파이프라인(general-purpose pipeline)으로 보고 있음을 시사합니다.

이러한 비전은 더 큰 질문을 던집니다: 기록된 인간의 시연(human demonstrations)을 통해 대규모로 학습할 수 있는 물리적 작업은 얼마나 될까요? 만약 Shift가 숙련된 노동자들이 복잡한 현실 세계의 작업을 수행하는 1인칭 시점의 비디오를 페타바이트 단위로 수집할 수 있다면, 동일한 기반 데이터 아키텍처(data architecture)로부터 6개 이상의 산업 분야를 위한 로봇 에이전트를 잠재적으로 훈련시킬 수 있습니다.

더 큰 그림

여기서의 궤적은 명확합니다. AI 에이전트가 더 유능해짐에 따라, 병목 현상은 모델 아키텍처에서 **세상과의 물리적 상호작용을 위한 훈련 데이터(training data for physical interaction with the world)**로 이동합니다. Shift, Scale AI 및 기타 기업들은 차세대 체화된 에이전트(embodied agents)를 구동할 데이터 파이프라인을 구축하고 있습니다.

소비자들이 무료 청소를 위해 자신의 프라이버시를 맞교환할 것인지, 그리고 Shift가 숙련된 전문가만큼 잘 청소하는 로봇이라는 약속을 이행할 수 있을지는 지켜봐야 할 문제입니다. 하지만 이 전략은 AI 산업이 언어 모델(language models)에서 물리적 에이전트(physical agents)로 가는 경로를 어떻게 생각하고 있는지 보여주는 창입니다.

"회사는 내일 '스스로 청소하는' 집을 얻는 대가로, 오늘 '티 없이 깨끗한 아파트'를 제공한다고 말합니다."

Shift의 접근 방식에 대해 어떻게 생각하시나요? 무료 청소가 훈련 데이터(training data)를 위한 공정한 거래일까요, 아니면 개인정보 보호(privacy) 문제가 너무 우려되시나요? 여러분의 의견을 알려주세요. 이 이야기는 계속 진행 중이며, 저희는 Shift의 확장을 면밀히 지켜볼 것입니다.

_원문 출처: The Agent Report