• 로봇 데이터는 텍스트처럼 기존 코퍼스에서 채굴할 수 없고 유용한 시간마다 비용이 발생하므로, 자본 효율은 총수집량보다
  달러당 한계 효용과데이터 새로움을 얼마나 정확히 계산하느냐에 달려 있음 - 데이터가 늘면 손실은 멱법칙에 따라 감소하지만,
  다양성은 일반화 범위와 오차 하한을 바꾸고 반복·근접 중복은 빠르게 포화되는 반면 희귀한 OOD 실패 사례는 큰 효용을 제공함 - 생산 배포 데이터는 초기의 고엔트로피 실패에서 일상적 성공과 근접 중복으로 수렴하는
  유정의 감산 곡선을 따르므로, 운영 시간을 늘리기보다 실패 꼬리를 선별해야 함 - 초기 로봇 작업은 상업성을 위해 환경 변동성을 제한해야 하므로 내재 차원과 전이 가능성이 낮아지며, 배포 수익으로 범용 모델을 개선한다는
  생산 플라이휠은 외부의 관찰 범위와 개입 다양성 없이는 작동하기 어려움 - 데이터 예산은 저비용 관찰 데이터로 범위를 넓히고, 고비용 원격조작은 작업별 포화점까지만 수집하며, 생산 텔레메트리에서는
  OOD 실패만 선별하는 방식으로 배분해야 함

데이터량을 잘못 가격 매기는 Physical AI

• 2002년 Oakland Athletics는 MLB에서 세 번째로 낮은 급여 총액으로 103승을 거뒀으며, 주관적 미학·도루·타율 대신 득점과 실제로 상관된
  출루율을 찾아 시장이 잘못 매긴 선수 가격을 활용함 - Physical AI에서도 누적 운영 시간은 눈에 잘 보이고 투자하기 쉬운 지표라는 이유로 중시되지만, 실제 하위 모델 성능과의 상관관계는 약함

• 로봇 데이터는 텍스트 데이터처럼 기존 코퍼스에서 채굴할 수 없고, 유용한 데이터 한 시간마다 비용을 지불해야 해 수집량과 함께 비용도 선형으로 증가함

• Ken Goldberg는 최전선 로보틱스 모델에 약
  10만 년 분량의 데이터가 필요할 수 있다고 추정함 - 대규모 수작업 원격조작 인프라만으로 AGI에 필요한 감독 데이터를 공급하는 방식은 지속 가능하지 않음

• Ken Goldberg는 최전선 로보틱스 모델에 약

• 로봇을 생산 현장에 배치하고 운영 매출의 부산물로 텔레메트리를 얻는 접근에도 같은 통계적 오류가 생길 수 있음

• 현재 배포 가능한 틈새 작업은 변동성이 가장 낮은 영역임

• 여기서 발생하는 데이터는 엔트로피가 낮고 서로 상관돼
  한계 효용이 작음

• Physical AI의 출루율에 해당하는 지표는 스케일링 법칙과 데이터 획득 단가를 함께 반영한
  달러당 한계 손실 감소량임

데이터 공급망을 움직이는 이해관계

• 각 참여자는 자신의 사업 영역이 가장 가치 있어 보이는 데이터 관점을 가짐

• 파운데이션 모델 연구소는 범용 모델 규모를 판매하므로 대규모 사전학습과 계산량 확대가 엣지 케이스 오류를 제거할 것으로 봄

• 원격조작 업체는 데이터의 효용이나 새로움보다 운영 시간에 따라 매출이 늘기 때문에 원시 데이터량을 우선함

• 기존 하드웨어 업체는 분포 밖 환경에서 솔루션이 실패하므로 환경이 정상적이고 안정적이라는 전제를 둠

• 상당수 학계 로보틱스 연구자는 데이터보다 물리학·모델·제어로 격차를 해소할 수 있다고 봄

• neo-integrator는 특화 로봇을 상업 생산에 배치하고 인간 개입으로 실패를 처리해 데이터 수집 병목을 우회하려 함

• Evan Beard는 생산 텔레메트리가 다중 작업 능력에 필요한 새로움을 만든다는 경제적 플라이휠을 제안함

• Kyle Vedder는 초기 로봇 도입에 비용을 지불할 환경이 본질적으로 저변동성이어서
  새로움 펌프(novelty pump) 제약이 생긴다고 반박함

• 어떤 전략이 달러당 가장 높은 모델 능력을 만드는지는
  경험적 스케일링 법칙과 데이터 획득의 단위 경제성을 함께 비교해야 판단할 수 있음

비용과 감독 방식으로 나눈 세 가지 데이터

관찰 데이터는 1인칭·3인칭 영상처럼 비용이 낮고 범위가 넓어 표현 공간의 지원 범위를 확장하지만, 직접적인 행동 감독은 제공하지 못함개입 데이터는 원격조작 시연처럼 비용이 높고 범위는 좁지만 상태-행동 궤적을 명시적으로 담으며, 인간 노동량에 비례해 비용이 증가함배포 데이터는 생산 시스템에서 내생적으로 생성되는 정제되지 않은 텔레메트리임- 운영 자체가 손실을 내는 경우도 있음

• 데이터 분포는 알고리듬 설계가 아니라 상업적 운영 조건에 의해 결정됨

• 데이터 최대화는 저엔트로피 잡음을 늘려 학습 효율을 떨어뜨릴 수 있음

• 언어 모델의 C4 데이터셋에서는 상용구와 근접 중복을 제거하고 고정된 예산 안에서 고유 토큰 범위를 늘리자 모델이 개선됨

• 데이터 파이프라인은 각 유형에서 1달러로 무엇을 얻는지, 새로운 정보가 어디서 발생하는지, 배포 데이터가 작업 범위를 넓힐 수 있는지를 따지는
  자본 배분 문제임

스케일링 법칙으로 본 데이터 효용

데이터량과 손실 감소

데이터·모델 크기·계산량이 늘면 테스트 손실은 로그-로그 축에서 직선 형태의

멱법칙으로 감소하지만, 감소 폭은 줄어들고 결국 하한에 도달함 -
Kaplan 2020과 Hoffmann 2022의 결합 형태는 모델 크기 (N), 토큰 수 (D)에 대해 다음과 같음

[ L(N,D)=E+A N^{-\alpha}+B D^{-\beta} ]

계산 최적 배분에서는 데이터에 따른 1차원 포락선으로 축약됨

[ L^{*}(D)=E+\tilde B D^{-\beta} ]

(E)는 모델이 제거할 수 없는 예측 불확실성이며, 함수 형태는 일관되지만 수치는 Besiroglu 2024가 다루듯 근삿값임

다양성과 내재 차원

• 다양한 데이터 혼합은 데이터량과 독립적인 두 효과를 동시에 만듦

• 도메인 간 전이와 매니폴드 범위 확대로 점근적
  오차 하한을 낮춤 - 데이터셋의 내재 차원 (d_{\text{int}})을 높임

• 도메인 간 전이와 매니폴드 범위 확대로 점근적

• 매끄러운 목표의 해상도 제한 구간에서는 Sharma & Kaplan 2020과 Bahri 2021에 따라 (\beta \approx 4/d_{\text{int}}) 관계가 성립함

• 작업의 내재 차원을 절반으로 줄이면 스케일링 지수는 대략 두 배가 되어 손실이 더 빠르게 감소함

• 대신 열등하고 일반화되지 않는 최적점으로 수렴할 수 있으므로, 사전학습 분포의 내재 차원을 인위적으로 낮춰서는 안 됨

• Ye et al. 2024의 데이터 혼합 법칙은 혼합 손실을 도메인별 멱법칙과 도메인 간 결합 항으로 분해하며, 결합 항이 긍정적 전이와 부정적 간섭을 결정함

• 다양한 데이터 혼합은 데이터량과 독립적인 두 효과를 동시에 만듦

반복의 포화와 성능 저하

• 반복 데이터는 약
  **4에포크(epoch)**까지 새 토큰과 비슷한 효율을 보이지만, 이후 효용이 빠르게 줄어 결국 능력을 저하시킴 - Muennighoff et al. 2023은 반감기 (R^{*}\approx15)인 지수 포화 형태를 적합함

• 4회 반복은 손실이 거의 없음

• 16회 반복부터 추가 계산이 새로운 정보를 만들지 못하는 명확한 수확 체감 구간에 들어감

• 고유 예제 수가 (U), 반복 횟수가 (r=T/U)일 때 유효 데이터 크기는 (D_{\text{eff}}=U\cdot f(r))이며 (f(r))는 지수적으로 포화됨

• Hernandez et al. 2022에 따르면 좁은 데이터 일부를 지나치게 반복하면 테스트 손실에서 국소적 이중 하강이 발생하고, 문맥 내 학습에 필요한 induction head와 copying head가 손상됨

• 전체 코퍼스의 0.1%를 100회 반복하자 8억 매개변수 모델의 하위 작업 성능이 4억 매개변수 모델 수준으로 떨어짐

• 반복 데이터는 약

근접 중복과 국소 포화

• 근접 중복은 완전한 반복과 완전히 새로운 샘플 사이에서 연속적인 효용을 가짐

• Lee et al. 2021은 C4에서 동일한 문장이
  6만 회 이상나타나는 사례를 확인함 - 중복 제거는 축어적 암기를 줄이고 서로 다른 매니폴드에 토큰 예산을 배정해 수렴을 가속함

• 작은 변화량 (\varepsilon)은 (x)와 (x+\varepsilon)을 같은 목표에 매핑하게 해 암묵적인 일관성 정규화로 작용함

• 매우 작은 변화는 효용이 낮음

• 중간 크기의 변화는 정규화에 유용함

• 변화가 충분히 커지면 별개의 데이터가 됨

• 좁은 이웃을 조밀하게 샘플링하면
  국소 용량이 빠르게 포화돼 모델 성능을 해침

희귀 사건과 긴 꼬리

• 희귀한 분포 밖(OOD) 사건은 스케일링 한계에서 모델 성능을 제한하는 실패 꼬리를 구성하므로 큰 한계 효용을 가짐
• 실제 물리적 분포는 긴 꼬리를 가지며, Michaud et al. 2023에 따르면 거시적 능력은 Zipf 분포를 따르는 하위 기술을 빈도순으로 습득하면서 나타남
• Feldman 2020에 따르면 최전선 정확도에 도달하려면 전체 운영 밀도에서 큰 비중을 차지하는 희귀 하위 집단을 학습해야 함
• Sorscher et al. 2022은 난도가 높고 빈도가 낮은 샘플을 선별하면 일반적인 멱법칙 제약을 우회할 수 있음을 보임
• 실제 세계의 확률성에서 발생하는 엣지 케이스는 합성 생성이나 구조화된 스테이징으로 재현하기 어려움
• 알려진 분포가 넓어질수록 남은 새 변형은 기하급수적으로 희귀해져 발견 비용이 급증함

달러당 한계 효용의 경제학

작업별 손실과 자본 배분

언어 모델에서는 계산량이 제약이고 데이터가 풍부하지만, 로보틱스에서는 유용한 데이터의

획득 비용이 직접적인 제약임 -
전체 능력 목표는 사전 가중치 (\pi_j)를 가진 작업 클러스터 (j)의 결합으로 모델링되며, 각 클러스터의 손실은 다음 형태를 따름

[ L_j=A_j(\phi)+B_j(\phi)D_j^{-\beta_j} ]

(A_j(\phi))는 센싱 구성 (\phi)에서의 하한, (D_j)는 데이터량, (\beta_j\approx4/d_j)는 내재 차원 (d_j)에 따른 지수임

유한한 자본을 최적으로 배분하려면 모든 수집·정제 채널의

달러당 한계 가치가 같아지도록 지출해야 함 -
개입 채널은 직접 행동 감독에 프리미엄이 있지만 데이터량이 빠르게 포화되므로, 주된 경제적 효용은 작업 간 기술 전이에서 발생함

채널 (i)의 비용은 (c_i), 포화 함수는 (g_i(n_i)), 작업 (j)로의 전이 투영은 (w_{ij})로 나타남

수집량이 늘어 (g_i'(n_i))가 작아지면 달러당 효용도 감소함

관찰 채널은 행동 레이블 없이 표현 공간을 개선하고, 오차 하한 (A_j)와 스케일링 계수 (B_j)에 영향을 줌

센서가 결정하는 오차 하한

확률적 오차는 절대적으로 고정된 값이 아니라 특정 로봇 센서가 관찰하는 정보 상태에 상대적임

작업 (j)의 센싱 구성 (\phi)에 따른 하한은 조건부 엔트로피 (A_j(\phi)=E[H[a|s_\phi]])로 나타낼 수 있음

[ A_j(\phi)=A_j^{\min}+\left(A_j(\phi)-A_j^{\min}\right) ]

(A_j^{\min})은 어떤 센서로도 제거할 수 없는 물리적 한계이며, 나머지는 더 나은 센싱으로 줄일 수 있는 부분임

저해상도 센서가 구분하지 못하는 환경 변동은 모델에

우연적 잡음으로 나타나지만, 고해상도 센서는 이를 학습 가능한 인식론적 오류로 바꿈 -
행동 데이터는 손실을 (A_j(\phi))에 접근시키고, 더 나은 센서는 (A_j(\phi)) 자체를 낮춤

작업의 손익분기 손실 (L_{\text{neutral}})에 대해 (A_j(\phi)\ll L_{\text{neutral}})이어야 배포가 가능함

최적 센싱에서도 (A_j^{\min}\ge L_{\text{neutral}})이면 데이터량 확대는 효과가 없음

이 경우 하드웨어 구성을 바꾸거나 다른 운영 작업을 선택해야 함

배포 데이터의 감산 곡선과 수렴 함정

생산 텔레메트리는 유정처럼 고갈됨

생산 초기에는 고엔트로피 실패 모드가 발생하지만, 이상이 해결될수록 데이터가 근접 중복과 반복으로 바뀌며 효용이 급격히 감소함

국소 분포의 유효 효용은 (U_{\text{eff}}(n)=U_0+\Delta U(1-e^{-n/n_c}))처럼 지수적으로 포화됨

포화점 또는 covering number인 (n_c)를 넘으면 생산 스트림은 저효용 반복 데이터로 수렴함

높은 가치는

실패 꼬리에 집중되며 일상적인 성공은 한계 효용이 없음 -
배포 데이터의 순비용은 오류율, 개입·처리량 손실 비용, 작업 완료 가치에 따라 달라짐

[ c_{\text{dep}}(L)=\rho(L)(\kappa_{\text{int}}+\kappa_{\text{prod}})-\nu ]

(c_{\text{dep}}\approx0)인 손익분기점 전에는 데이터 수집이 적자이므로, 초기 배포에는 운영 매출이 아니라

R&D 자산으로 외부 자본을 투입해야 함 -
흔히 성능 95%에서 개입과 함께 배포를 시작하고 99.5%에서 수익성이 생긴다고 보지만, (L_{\text{start}})에서 (L_{\text{neutral}})까지 필요한 데이터는 멱법칙 때문에 여러 자릿수 규모로 증가할 수 있음

손익분기 목표가 오차 하한에 가까워져 (\Delta_{\text{safe}}=L_{\text{neutral}}-A_j(\phi)\to0)이면 필요한 데이터와 비용은 초선형적으로 발산함

(L_{\text{neutral}}\approx A_j(\phi))인 작업은

자본 싱크가 됨 -
배포 규모를 키우기 전에 데이터 범위와 센싱을 개선해야 함

상업적 수렴과 범용화의 충돌

• 최적이 아닌 파운데이션 모델을 상업적으로 배포하려면 환경 변동을 인위적으로 제한해 작업의 내재 차원을 낮춰야 함

• 낮은 (d_j)는 큰 (\beta_j)를 만들어 수렴 속도를 높이지만, 좁고 전이되지 않는 매니폴드로 수렴함

• 구조화된 운영 셀에서 얻은 저엔트로피·상관 데이터는 범용 모델의 일반화 경계를 넓히지 못해 시스템을 초기 틈새에 묶음

• 파편화된 저변동성 작업마다 비반복 엔지니어링(NRE) 비용이 발생하며, 소프트웨어와 같은 마진을 내려면 순차적으로 추가되는 새 작업의 한계 통합 비용이 0에 가까워져야 함

• 두 가지 데이터 편향은 서로 다른 한계를 만듦
  스테이징 편향: 개입 데이터는 행동 밀도가 높지만 시뮬레이션·실험실처럼 인위적으로 구조화돼 실제 물리 환경의 확률적 실패 꼬리를 포착하지 못함분포 편향: 배포 데이터는 실제 환경에서 나오지만 상업적 생존을 위해 저변동성 틈새로 제한돼 잘못된 분포 혼합을 샘플링함

• 좁은 작업에서 넓은 작업으로 순차 확장하는 전략은 배포 가능 작업의 증가 속도가 누적 NRE 적자보다 빠를 때만 경제성이 있음

• 상업 틈새의 배포 데이터만으로는 이 확장이 어려우므로, 오차 하한을 낮추는
  관찰 범위와 일반화 경계를 넓히는 개입 다양성이 외부에서 공급돼야 생산 플라이휠이 작동함

운영 시간을 대체할 정보 밀도 지표

작업별 한계 통합 비용은 새 작업마다 발생하는 NRE 비용을 프로젝트 회계로 추적함- 작업 포트폴리오가 커져도 비용이 줄지 않으면 모델 계층이 작업 간 표현을 축적하지 못하고 있음

• 사업 구조도 확장 가능한 소프트웨어보다 선형 시스템 통합에 가까움

**작업별 포화점 (n_c)**은 작업·환경별 학습 곡선이 평탄해지는 지점을 찾음- 이 지점에서 수집을 중단하면 수작업 원격조작 예산의 주요 낭비를 줄일 수 있음

**분포 변화율 (v_j)**은 OOD 입력의 발생 속도와 재학습 빈도를 추적함- 비정상적 목표 분포는 계속 새로운 실패 모드를 만들기 때문에, 지속적인 배포 텔레메트리가 데이터 우위를 유지할 수 있는 유일한 운영 조건임

클러스터 범위는 원시 에피소드 수 대신 표준 데이터 임베딩에서 직교하는 작업·객체·환경 클러스터 수를 측정함- 시간에 따른 클러스터 확장은 도메인 간 일반화의 대리 지표가 됨

데이터 새로움 밀도는 앙상블 불일치나 기록 상태의 예측 분산 같은 능동학습 휴리스틱으로 유입 스트림의 정보 밀도를 추정함- 저엔트로피의 일상적 성공을 걸러내고 고효용 실패 꼬리를 우선함

• 실현 가능성을 좌우하는 우연적 오차 하한 (A_j(\phi))는 직접 측정할 수 없음
• (L(D)=E+BD^{-\beta})를 적합해 점근값 (E)를 추정할 수 있지만, 근사 오차가 커 직접적인 운영 지표로 쓰기 어려움

데이터 전략으로 구분한 로보틱스 생태계

모델 우선 연구소는 서로 다른 로봇 형태의 관찰 코퍼스를 대규모로 정제·세척해 사전학습하고, 이 범위에서 누적 일반화를 얻으려 함- 월드 모델 연구소는 학습된 모델로 저렴한 개입 데이터를 만드는 데 베팅함

• 정적 사전학습과 합성 시뮬레이션 모두 실제 배포의 우연적 엣지 케이스 실패 꼬리를 정확히 복제하지 못함

수직 통합 업체는 독점 하드웨어에서 데이터 수집과 정제를 직접 수행함- 하드웨어에 정렬된 데이터는 효율적임

• 자율주행처럼 본질적으로 변동성이 높은 영역을 제외하면, 상업성을 위해 저변동성 환경으로 제한한 결과 새로움이 부족해지는 순환 함정에 빠짐

neo-integrator는 다양한 산업 환경에 얕고 넓은 운영 기반을 갖춰 작업 다양성을 확보하기 좋은 위치에 있음- 이를 적극적으로 정제할 데이터 환경이 아니라 청구 가능한 운영 면적으로만 취급하는 사업 모델은 전략적 오류임

원격조작 업체는 운영 시간을 판매하므로 고유 샘플 범위보다 원시 데이터량을 극대화할 유인이 있음- 작업별 포화점 (n_c)를 넘어서도 데이터를 만들며, 국소 매출을 내는 인프라 도구는 제공하지만 스케일링 우위는 만들지 못함

기존 하드웨어 업체는 결정론적 동작 재생에 맞춘 수익성 높은 저변동성 시장을 방어함- 학습용 데이터를 거의 수집하지 않아 스케일링 곡선을 따라 올라갈 경로가 없음

• Physical AI에서 가장 희소한 능력은
  데이터 새로움의 식별과 포착이며, 가치는 연구와 하드웨어 엔지니어링의 기존 조직 경계와 무관하게 OOD 변형을 골라내는 운영팀에 축적됨

Physical AI와 LLM 애플리케이션의 차이

• Cursor와 Harvey 같은 소프트웨어 애플리케이션은 토큰 단위로 파운데이션 모델을 빌리면서도 워크플로 통합과 독점 유통으로 경제적 가치를 확보함
• 경제적 가치 포착과 모델 능력은 별개의 변수이며, Physical AI는 세 가지 축에서 소프트웨어 애플리케이션과 조건이 다름

작업 차원과 포화 속도

• 소프트웨어 개발은 내재 차원이 높아 지속적인 워크플로 피드백이 계속 한계 효용을 제공함

• 구조화된 창고 피킹 같은 물리 작업은 내재 차원이 낮아 작업별 데이터 스트림이 빠르게 포화되고 수확 체감 구간에 진입함

파운데이션 계층의 비대칭

• 소프트웨어 애플리케이션은 범용적이고 대규모 보조금을 받은 파운데이션 모델의 하류에서 작동함

• Physical AI에는 빌려 쓸 수 있는 동등한 범용 파운데이션 계층이 없으므로, 현재의 로봇 배포는 운영 가능성을 위해 환경 변동성을 인위적으로 줄여야 함

• 이렇게 수집한 특화 하위 분포는 더 넓은 일반화를 만들지 못함

텔레메트리 비용과 마진

• 소프트웨어는 소스 코드, 사용자 수정, 컴파일 결과 등 전체 운영 루프를 저비용으로 완전히 관찰할 수 있음
• 물리 텔레메트리는 수집 비용이 높고 센서 해상도 때문에 본질적으로 관측되지 않는 부분이 남음
• Physical AI의 기초 관찰 데이터가 경쟁적이고 독점적인 자산으로 유지되면 지렛대는 상류 모델 계층에 집중됨
• 인프라 제공업체는 독점적 가격 결정력을 유지하고, 하류 애플리케이션의 마진은 압박받음

데이터 예산을 배분하는 방법

• 누적 운영 시간은 모델 성능의 기본 지표에서 제외하고, 작업별 한계 통합 비용·포화 임계값·임베딩 클러스터 범위·분포 변화율로 엔지니어링 효율과 스케일링을 평가해야 함
• 스테이징된 개입 데이터와 좁은 배포 데이터 어느 쪽도 단독으로 파운데이션 모델을 확장할 수 없음
• 고용량 스테이징은 작업별 범위가 빠르게 포화돼 수확 체감이 발생함
• 상업 배포는 수익 가능한 틈새의 새로움이 부족하고, 환경마다 오류 처리를 위한 NRE 비용을 발생시킴

관찰 범위에는 저비용·고다양성 데이터를 우선 배정해 우연적 오차 하한을 낮추고 기본 능력의 경계를 넓혀야 함개입 스테이징은 작업의 포화점 (n_c)까지만 수행하고, 남은 예산은 같은 작업의 반복이 아니라 작업 다양성에 재배분해야 함배포 텔레메트리에서는 OOD 엣지 케이스와 실패 모드를 분리하고, 정보 밀도가 없는 대량의 일상적 성공은 버려야 함- 초기 배포가 일부 유용한 신호를 만들 수 있어도 손익분기 전의 지속적인 운영은 자본을 소모함

• Physical AI의 자본 효율은 데이터량을 최대화하는 것이 아니라
  데이터 새로움에 정확한 가격을 매기는 능력에 따라 확장됨