2023년 분석에서 플랫폼 노동자의 33~46%가 작업에 대형 언어 모델을 쓰고 있었다니, 이제 노동자들의 AI 사용이 Mechanical Turk 자체를 무의미하게 만들 정도로 늘어난 것 같음

Mechanical Turk 결과물을 소비하는 쪽이 산출물의 가치, 즉 품질을 제대로 측정할 방법이 없다는 뜻일 가능성이 큼
측정할 수 있다면 사람이 했는지 LLM이 했는지는 상관없어야 함
LLM이 한다면 비용은 대략 그 작업을 수행하는 데 드는 LLM 비용과 사람 비용 중 더 낮은 쪽에 맞춰질 것임

2012년에도 용돈 벌려고 이런 식의 인공 인공 인공 지능을 하고 있었음
드디어 그 구멍이 “패치”됐다니 반갑다 ^^

어떻게 일을 처리하는지는 신경 쓸 이유가 없어 보임
그냥 일을 끝내면 되고, 나는 할 일이 따로 있음

결혼식 전 용돈을 벌려고 잠깐 Turk를 해봤는데, 돈을 버는 방식으로는 시간 대비 효율이 너무 낮았음
한 달 동안 붙잡고 있어도 많아야 10~20달러 정도 뽑아낸 것 같음

10년쯤 전 Mechanical Turk를 관리했던 사람이 새 매니저로 왔는데, 그때 이미 막다른 길로 인식되고 있었음
Amazon Security가 오래전에 지원 종료된 MySQL 4.0에서 MySQL 5.x로 업그레이드하라고 지시했지만, 보안 요구였는데도 리더십에서 리소스를 거의 안 붙여줬다고 들었음
보안 요구라면 보통 모두가 “얼마나 높이 뛰면 되나” 묻기도 전에 움직이는데도 그랬고, 결국 본인이 직접 했던 것 같음
남아 있던 극도로 적은 인력은 전부 거대한 기술 부채와 KTLO 작업에 묶여 있었고, 이를 해결하자는 제안도 리소스 장벽에 막혔음

진짜 사람을 방에 가둬두고 네트워크, 책, LLM 없이 카메라로 24시간 감시하면서 Human Intelligence를 제공하는 고가치 스타트업이 나올 수도 있겠음

모든 작업을 똑같이 즐겨 주세요

먼저 사람이 지속적으로 고품질 결과물을 만들 수 있게 해주는 조건부터 살펴보는 게 좋겠음

일 외에는 아무 자극도 없는 24시간 격리라면, 환각률이 더 높아질지 낮아질지 궁금함

아직도 이게 남아 있는 줄 몰랐음
예전에 Battlefield 2 “Special Forces” 확장팩을 사는 데 도움이 됐음
어차피 살 수는 있었겠지만, 여가 시간에 Mechanical Turk를 해서 번 돈으로 샀기 때문에 평소 수입에는 영향이 없었음

지금까지 본 것 중 가장 모호하지 않은 AI가 일을 자동화한다는 예시일지도 모름
그렇다고 노동자들이 자동화됐다는 뜻은 전혀 아님
이제 노동자들은 현재 모델을 활용해 수많은 새 AI 학습 데이터 스타트업에서 더 복잡한 작업을 할 수 있음
Turk는 애초에 더 복잡한 작업에 맞게 설계되지 않았고, AI 학습 데이터를 수집하려고 만들어진 스타트업들이 상당 부분을 가져간 것뿐임

이건 AI가 일자리를 대체한다는 얘기라기보다, 나쁜 제품이 더 나은 제품들에 밀려 구식이 된 것에 훨씬 가까움
사람 라벨링은 양면 시장이고, 모든 마켓플레이스 스타트업이 알듯 양쪽을 계속 관리하지 않으면 품질 악화가 이탈로 이어지고, 플랫폼이 비어 가는 악순환에 빠질 수 있음
라벨링에서는 개별 작업과 피로의 한계를 이해하고, 훌륭하고 일관된 작업이 파이프라인에 계속 들어오게 만들고, 고객 경험을 좋게 하도록 플랫폼을 개선해야 함
AMT는 이 모든 면에서 완전히 방치됐음
보수는 형편없고, 부정직은 만연했음
그냥 나쁜 제품이었으니, 받들어 올리거나 정치적인 문제로 만들 필요가 없음