인간 취향의 시장 가격 측정

경제학자와 기술 평론가들이 화이트칼라 업무가 자동화 속에서 어떻게 살아남을지 논할 때, 주장은 보통 두 가지 후퇴 위치로 돌아갑니다. 첫 번째는 공급 측면의 '취향 해자(taste moat)'입니다. 기계는 코드, 초안, 레이아웃을 생성할 수 있지만, 인간은 다른 사람이 무엇을 원하는지에 대한 정보적 독점권을 유지하며 에이전트를 생산적인 방향으로 이끌어갑니다. 두 번째는 수요 측면의 '장인 프리미엄(artisanal premium)'입니다. 알고리즘이 구별할 수 없는 결과물을 만들어낸다 하더라도, 소비자들은 손으로 만든 도자기나 싱글 오리진 커피처럼 인간의 출처가 담긴 상품에 대해 추가 비용을 지불할 것입니다.

두 주장 모두 인간의 존엄성과 표준 제품 차별화에 호소하기 때문에 그럴듯하게 들립니다. 하지만 이 두 가설 중 어느 것도 소비자의 지불 의사에 따라 실제로 현금이 오고 간, 감사받은 인센티브-호환 시장 테스트를 거친 적이 없습니다.

John Conlon(오하이오 주립대)과 Peter Schwardmann(카네기 멜런 대학교)은 새로운 워킹 페이퍼에서 바로 그 '시장 가격 측정 메커니즘'을 구축했습니다. 1,025명의 참가자가 참여한 세 번의 사전 등록 연구를 통해, 이들은 1,600개 이상의 플레이 가능한 컴퓨터 게임의 제작 및 가격 책정을 중심으로 실험 시장을 구성했습니다. 기본 설정에서는 인간 생산자들이 프롬프트 수정과 실시간 게임플레이 테스트를 거쳐 세 라운드에 걸쳐 최첨단 코딩 에이전트와 협력하며 기초적인 아케이드 게임을 개선했습니다. 이들과 비교하여, 연구진은 의도적으로 기능이 제한된 자율 AI를 운영했습니다. 이 LLM은 단 한 번의 프롬프트만으로 게임을 창의적이고 매력하게 만들도록 지시받았으며, 테스트 실행, 오류 수정, 반복 루프는 전혀 거치지 않았습니다.

결정 가격은 즉시 결정되었다. 공개 그룹 전체를 합산했을 때, 소비자들은 AI가 설계한 게임에 평균 $0.47을 지불했고, 인간이 설계한 버전에는 $0.37을 지불했다. 이 10센트의 차이는 비보조 모델에게 0.31 표준편차만큼의 우위를 나타낸다. 저자들이 전문 크리에이터(게임 개발자, 그래픽 디자이너, 상업 디지털 프로듀서)를 모집했을 때도 격차는 약간 줄었지만, AI가 여전히 전문적인 인간 결과물보다 통계적으로 유의미한 0.16 표준편차 프리미엄으로 결정되었다. 소비자들은 완전 자율 게임이 재미(fun), 창의성(creativity), 완성도(polish) 면에서 더 높다고 평가했다.

시장 참여자들은 이러한 할인 폭을 예상하지 못했다. 제작이 시작되기 전에 아마추어 참가자들은 자신들의 게임이 자율 AI보다 9센트 더 많이 팔릴 것으로 예상했다. 전문 크리에이터들은 훨씬 더 확신하며, 자신들의 인간적인 방향성에 대해 17센트의 프리미엄을 예측했다. 그들은 오직 AI의 초기 디자인 프롬프트 텍스트를 읽은 후에야 기대치를 낮추었다. 이 격차는 상당한 잘못된 측정(miscalibration)을 드러낸다. 창의 전문가들은 자신들의 노동력을 대체 불가능한 큐레이션 레이어(curation layer)로 가격 책정했으며, 자신들의 미적 판단을 기계 결과물보다 자동적으로 높은 가격을 요구하는 자산으로 취급했다.

장인 정신 프리미엄(artisanal premium)은 더욱 심각했다. 소비자 단계에서 저자들은 구매자들에게 각 게임이 어떻게 만들어졌는지 여부를 다르게 알렸다. 블라인드 조건에서는 플레이어들이 인간의 게임과 기계의 게임을 구별할 수 없었으며, 두 그룹 모두에 대해 인간 제작자의 출처(authorship) 확률을 58%로 부여했다. 연구자들이 게임을 명시적으로 인간 설계작으로 라벨링하거나, 플레이어들에게 그들의 지불액이 현금 보너스로 인간 창작자에게 직접 전달될 것이라고 알렸음에도 불구하고, 지불 의향은 변하지 않았다. 공개 처리(disclosure treatments) 전반에 걸친 공동 테스트는 p-값 0.87을 반환했다. 인간의 출처가 보장되는 것과 더 나은 메커니즘 중 선택해야 할 경우, 소비자들은 매번 메커니즘을 택했다.

생산자 자신에게 미치는 2차적 영향은 더 미묘한 노동 역학을 보여줍니다. 자율 모델이 작동하는 것을 지켜보는 것만으로도 인간 생산자들은 자신의 작업에서 더 나아졌습니다. 그들이 만든 후속 게임들은 재미와 완성도 면에서 높은 점수를 받았습니다. 하지만 이 작업에 대한 주관적인 자부심은 0.14 표준편차만큼 떨어졌고, 공공 레지스트리에 창작물을 게시하려는 의향은 0.13 표준편차만큼 감소했습니다. 보조 장치가 없는 모델이 인간의 지시보다 더 나은 성과를 낼 수 있다는 것을 배우는 것은 결과물은 향상시키지만, 그 기술 자체에 부여된 의미를 저하시킵니다.

금융 시장에서 자산의 시장 가치가 보유 비용(carrying cost)보다 낮은 경우, 필연적으로 손상차손(impairment charge)이 발생합니다. 창조적이고 지식 기반의 작업에서는 인간의 취향이 마치 노동력을 기계 경쟁으로부터 보호할 수 있는 영구적인 무형자산으로 간주되어 왔습니다. Conlon과 Schwardmann의 시장은 현금이 걸린 상황에서 소비자 수요가 생산 출처보다는 제품의 효용(utility)에 직접적으로 향한다는 것을 보여줍니다. 만약 평균 구매자가 인간의 출신 배경(provenance)에 0달러 가치를 부여하고, 인간의 큐레이션 능력을 자율 생성물과 비교하여 할인한다면, 루프 내의 인간은 프리미엄 기능에서 값비싼 운영적 마찰(operational friction)로 바뀝니다.

원문 출판: deanlee.info.