챗봇이 프로그래밍 관련 질문이라면 거의 모든 것을 몇 초 만에 해결하지만, 이 챗봇이 전기 기술자, 간호사 또는 안전 검사관의 실제 업무를 잘 수행하는지는 아무도 모릅니다. Mercor의 보고서에 따르면, 미국 923개 직업 중 단 208곳만이 5가지 이상의 테스트로 AI 벤치마크가 측정된 업무를 가지고 있습니다.
이 수치를 종합하면 더욱 심각합니다. 미국에서 지급되는 노동 시간의 90%는 현재의 AI 테스트로는 겨우 건드리는 수준에 머무르는 업무에 해당합니다.
요약 (TL;DR)
- Mercor가 조사한 바에 따르면, 미국 923개 직업 중 단 208곳만이 5가지 이상의 과제가 포함된 AI 벤치마크를 보유하고 있습니다.- 미국 노동 시간의 90%는 AI 테스트 커버리지가 낮거나 없는 업무에 해당합니다.- 본 연구에 따르면, O*NET의 18,797개 과제 중 29개의 벤치마크가 22개 직업군에 걸쳐 매핑되었습니다.- 직업군 22개 중 6개(건강 및 교육 포함)는 제대로 커버된 직업이 없습니다.- 커버리지는 임금 수준을 따릅니다: 컴퓨터 공학 및 수학 분야는 측정된 36개 직업 중 29곳에 달합니다.
Mercor의 Benchmark Map이란 무엇인가요?
Mercor의 Benchmark Map은 미국 노동부(Department of Labor)의 O*NET 분류 체계에 있는 923개 직업과 18,797개 과제를 기존의 29개 AI 벤치마크와 교차 분석하여, 미국의 실제 업무 중 어느 정도 비율이 적어도 하나의 테스트를 통해 평가받고 있는지 측정하는 공개 지표입니다.
Mercor는 업계에서 다양한 전문 직업 전문가들을 인공지능 연구소와 연결하여 학습 및 평가 데이터를 생성하는 마켓플레이스를 운영하는 것으로 알려져 있습니다. 자체 벤치마크인 APEX가 이 지표에 포함된 29개 중 하나이며, 회사는 아직 공개되지 않은 프롬프트(prompts)에 접근할 수 있고 이를 각 O*NET 과제에 직접 매핑할 수 있다는 장점을 가지고 있습니다.
무슨 일이 있었나요
해당 보고서는 Mercor가 발표하고 인터랙티브 지도 형태로 제공되며, O*NET의 분류 체계와 29개의 AI 모델 평가 벤치마크를 교차 분석했습니다. 연구에 따르면, 미국 노동력을 구성하는 923개 직업 중 최소한 하나의 작업이 다섯 개 이상의 프롬프트와 매핑된 곳은 단 208곳에 불과합니다.
이 수치는 이 문제를 확인시켜 줍니다. 같은 보고서에 따르면, 국내에서 지급되는 근무 시간 10시간 중 9시간은 어떤 벤치마크에도 해당하지 않거나 최소한의 커버리지만을 가진 작업에 해당합니다. Mercor는 923개 직업을 O*NET의 공식 분류에 따라 22개의 노동군(labor families)으로 그룹화했으며, 이 중 건강 및 교육 분야를 포함하는 6개 노동군은 실질적인 커버리지를 가진 직업이 하나도 없다는 것을 발견했습니다.
지도는 이 923개 직업을 O*NET의 표준 분류에 따라 22개의 노동군으로 나누고 있습니다. 컴퓨팅 및 수학부터 건강 관리까지 각 직업은 셀(cell) 형태로 나타나며, 해당 직업 작업 중 커버리지가 있는 비율에 따라 색상이 지정됩니다. 이를 통해 현재 AI 테스트의 관심이 거의 집중된 분야와 사실상 소외된 분야를 한눈에 파악할 수 있습니다. 이 보고서는 미국 923개 직업에 걸쳐 분산된 18,797개의 작업을 다루고 있습니다.
배경 및 역사
모델이 얼마나 잘 추론하거나 프로그래밍하는지를 측정하는 벤치마크는 지난 몇 년 동안 급증했지만, 거의 모두 학술적 능력이나 소프트웨어 엔지니어링 능력을 측정하기 위해 탄생했습니다. 나머지 경제를 지탱하는 노동을 위한 것은 아니었습니다. Mercor는 이 Benchmark Map이 지속적으로 업데이트할 계획인 자료로 향한 첫걸음에 불과하다고 말합니다.
어떤 직업이 AI에 얼마나 노출되어 있는지를 측정하는 아이디어는 새로운 것이 아닙니다. 2023년, Tyna Eloundou, Sam Manning, Pamela Mishkin, Daniel Rock 연구원들은 연구 논문을 발표하여 O*NET의 수천 가지 작업을 언어 모델이 얼마나 가속화할 수 있는지에 따라 태그를 지정했습니다. Mercor는 이러한 이진 노출(binary exposure) 태그를 가져와 자체 커버리지 맵과 교차 분석함으로써 AI 테스트가 실제로 노출도가 가장 높은 곳에 집중하는지 확인합니다.
보고서 자체에서도 소프트웨어 엔지니어링 분야의 AI 테스트 포화 상태가 우연이 아님을 인정합니다. 그곳은 평가를 자동화하기 가장 쉬운 유형의 작업이기 때문입니다. 즉, 테스트와 명확한 성공 지표(metrics of success)가 있고 공개 저장소(public repositories)가 있으며, AI 연구소들이 자체 모델의 진행 상황을 측정하는 데 직접적인 이해관계를 가지고 있기 때문입니다. 이 때문에 Mercor는 29개 테스트를 구성할 때 직업군별 상한선(cap)을 설정하여, 소프트웨어 엔지니어링과 학술 연구가 이전 카탈로그들처럼 전경을 지배하지 않도록 했습니다.
Mercor의 AI 벤치마크 측정 방식
이 맵의 배후 메커니즘은 자동 심판관입니다. Mercor는 언어 모델을 사용하여 평가된 29개 벤치마크의 각 프롬프트(prompt)를 읽고, ONET이 정의한 18,797개 목록 중 하나 이상의 작업을 할당합니다. 동일한 프롬프트가 중복되는 기술을 평가할 경우 여러 개의 서로 다른 작업에 매핑될 수 있습니다. ONET 작업은 심판관이 모든 벤치마크에서 다섯 개 이상의 프롬프트를 할당했을 때만 '커버됨(covered)'으로 간주되며, 단 한 번의 언급만으로는 충분하지 않습니다.
자동 태깅이 우연한 일치를 만들어내지 않았음을 확인하기 위해, 팀은 심판관의 태그를 Mercor 자체 테스트 뱅크인 APEX에 대한 인간 전문가들의 태그와 비교했습니다. 이 곳에는 회사가 아직 공개되지 않은 프롬프트에도 접근할 수 있습니다. 이러한 검증 과정을 통해 측정된 커버리지가 통계적 노이즈가 아니라, 각 테스트가 무엇을 측정하는지에 대한 합리적인 근사치임을 주장할 수 있게 됩니다.
지수(index)의 29개 벤치마크는 다음 다섯 가지 기준에 따라 선정되었습니다:
- 공개 가능성 (Disponibilidad pública): 최소 25개의 공개 과제 또는 Mercor를 통한 APEX 경로로 직접 접근 가능.
- 에이전트 과제 (Tareas agénticas): 모델에게 질문에 답변하는 것뿐만 아니라 특정 작업을 실행하도록 요청하는 방식.
- 경제적 현실성 (Realismo económico): 실제 기업이 직원에게 요구하는 업무와 유사한 과제이며, 학술적인 수수께끼가 아님.
- 경제적 다양성 (Diversidad económica): 소프트웨어 및 연구 분야가 지수를 독점하지 않도록 직업군별로 벤치마크 상한선을 설정함.
- 균형 잡힌 난이도 (Dificultad balanceada): 최첨단 모델(frontier models)들이 아직 포화시키지 못한 벤치마크.
어떤 직업이 다른 직업보다 더 많은 커버리지를 갖는지 이해하기 위해, Mercor는 과제 수준에서 로지스틱 회귀분석(regresión logística)을 수행했습니다. 이 분석은 Eloundou et al.의 AI 노출 레이블과 직업의 임금 총액(masa salarial) 로그값을 사용하여 커버리지 확률을 설명합니다. 여기서 직업의 임금 총액은 노동통계국(Oficina de Estadísticas Laborales)이 보고한 평균 급여에 해당 근로자 수와 40시간 주를 곱하여 계산됩니다. 표준 오차는 직업군별로 그룹화되었고, 95% 신뢰 구간에는 델타 방법(método delta)이 사용되었습니다.
그 결과는 단순한 표가 아니라 곡선 형태입니다. 직업의 임금 총액이 증가함에 따라, 해당 직업의 과제 중 하나가 어떤 벤치마크로 커버될 것으로 추정되는 확률은 꾸준히 상승하며, AI 노출 정도가 높은 과제와 낮은 과제 간의 격차는 전체 급여 범위에서 거의 일정하게 유지됩니다. Eloundou et al.에 따라 자동화 가능한 과제인 것이 도움이 되기는 하지만, 잘 보수 받는 직업군에 속하는 것만큼은 도움되지 못합니다.
flowchart TD
A[
벤치마크 맵(Benchmark Map)의 초기 지표는 총 29개로 구성되어 있습니다.
보고서에서 가장 불편한 발견은 단순히 커버된 직업 수 자체보다, 그 숫자가 나오게 된 패턴에 관한 것입니다. AI 벤치마크는 923개 직업에 무작위로 분배되지 않습니다. 특정 업무가 포함된 직업의 평균 임금이 높을수록 해당 업무가 측정될 확률이 높아지며, 특히 그 업무가 이미 AI 노출도가 높은 것으로 분류되어 있다면 그 경향은 더욱 두드러집니다. Mercor가 제시하는 예시가 이를 명확하게 보여줍니다. 고노출도 및 고임금 직업인 변호사의 업무는 광범위하게 커버되지만, 비서나 법원 직원처럼 노출도는 비슷하지만 직업군이 다른 경우의 업무들은 어떤 벤치마크에서도 거의 등장하지 않습니다.
| 노동 가족 (O*NET) | 커버된 직업 수 | 커버리지 | |
| :--- | :--- | :--- |
| 컴퓨팅 및 수학 | 368개 중 29개 | 0.6% |
| 지역사회 서비스 | 147개 중 10개 | 1.4% |
| 법률 | 77개 중 5개 | 1.4% |
| 비즈니스 및 금융 | 486개 중 33개 | 6.8% |
| 행정 및 사무실 | 51개 중 21개 | 41.2% |
| 관리 (Gerencia) | 56개 중 21개 | 37.5% |
| 건축 및 공학 | 56개 중 19개 | 33.9% |
| 예술 및 미디어 | 40개 중 13개 | 32.5% |
| 판매 | 22개 중 6개 | 27.3% |
| 과학 | 60개 중 15개 | 25.0% |
| 교육 및 도서관 | 62개 중 9개 | 14.5% |
| 보건 실습 | 89개 중 12개 | 13.5% |
이 표는 패턴을 희석시키지 않기 위해 22개의 노동 가족 중 단 12개만 보여주지만, 나머지 영역에서도 같은 추세가 유지됩니다. 즉, 한 노동 가족의 합산 인건비 규모가 클수록, 비록 Eloundou et al 분류에 따라 낮은 임금 직업이 동일한 AI 노출도를 공유하더라도 어떤 벤치마크에서 측정될 가능성이 더 높다는 것입니다.
보고서는 이를 '중간 소득 노동의 긴 꼬리(long tail of middle-income work)'라고 부릅니다. 행정 보조원, 실험실 기술자 또는 프로젝트 코디네이터 같은 직업들은 연간 수백만 시간의 근무 시간을 합산함에도 불구하고 벤치마크 논문에서 거의 등장하지 않습니다. 이러한 업무들에 대한 직접적인 측정 없이는, 실제 노동 환경에서 AI가 얼마나 유용한지에 대한 모든 주장은 코드와 금융 분야에 편향된 표본에 의존하게 됩니다.
**💭 핵심:** 어떤 업무가 AI에 노출되는지 여부는 그 직업의 임금보다, 누군가가 그것을 측정할 가치가 있다고 판단하는지에 더 큰 영향을 미칩니다.
## 다음 내용
Mercor는 이 지도가 폐쇄적인 보고서가 아니라 살아있는 자료라고 말합니다. 경제적으로 더 현실적인 벤치마크(benchmark)를 갖춘 테스트가 나타남에 따라 인덱스에 더 많은 증거를 추가하고, 현재 '0'으로 남아 있는 보건 및 교육과 같은 노동 계층까지 커버리지를 확장할 계획입니다. 명시된 목표는 누구나 자신이 매일 하는 업무에 대해 AI가 얼마나 잘 평가되었는지 직업별로 확인할 수 있게 하는 것입니다.
📖 텔레그램 요약: [요약 보기](https://telegra.ph/Mercor-solo-208-de-923-ocupaciones-con-cobertura-real-de-IA-10-16)
만약 AI 모델을 평가하거나 벤치마크를 설계한다면, [Mercor의 인터랙티브 지도](https://www.mercor.com/research/labor-index/benchmark-map/)에 접속하여 자신의 산업 노동 계층(family)을 필터링해 보세요. 그러면 그 산업의 업무 중 어떤 것들이 실제 테스트를 얼마나 많이 거쳤는지 확인할 수 있습니다.
## 자주 묻는 질문 (FAQ)
### Mercor의 Benchmark Map은 정확히 무엇을 측정하나요?
미국에서 직업을 설명하는 데 O*NET이 사용하는 18,797개 업무 중 최소 다섯 개 이상의 프롬프트(prompt)로 커버되는 AI 모델 테스트가 있는 비율을 측정합니다. 이 결과는 미국 내 923개 직업과 22개 노동 계층별로 그룹화됩니다.
### 923개 직업 중 몇 개가 잘 커버되나요?
Mercor 인덱스에 의해 최소 다섯 개 이상의 프롬프트가 매핑된 업무를 가진 곳은 단 208곳입니다. 나머지 약 715개 직업은 그 기준을 충족하지 못했거나 관련 테스트 자체가 없습니다.
### 법률직이 행정직보다 더 잘 평가되는 이유는 무엇인가요?
Benchmark Map의 커버리지는 해당 직업의 실제 AI 노출도보다는 임금 수준에 더 가깝게 따릅니다. 높은 임금을 받는 변호사들은 잘 커버된 반면, 엘라운두(Eloundou) 외 등이 언급한 바와 같이 비슷한 노출도를 가진 법률 비서나 법원 직원들은 테스트가 거의 없습니다.
### Eloundou 등이 정의한 AI 노출도란 무엇인가?
이는 2023년 연구에서 O*NET의 수천 가지 업무에 할당한 이진(binary) 라벨로, 대규모 언어 모델(LLM)이 해당 업무를 얼마나 가속화할 수 있는지에 따라 결정됩니다. Mercor는 이를 통제 변수(control variable)로 사용하여 임금 효과와 실제 노출 효과를 분리합니다.
### Mercor가 이 벤치마크 지수를 계속 업데이트할까요?
네: 회사는 이것을 지속적으로 업데이트할 계획인 리소스의 첫 단계라고 설명하며, 충분한 경제적 현실성을 갖춘 테스트가 나타날 때마다 벤치마크와 직업군을 추가할 것이라고 합니다.
## 참고 자료
- [Mercor Benchmark Map](https://www.mercor.com/research/labor-index/benchmark-map/): 직업별 커버리지의 대화형 지도가 포함된 원본 보고서.- [O*NET Resource Center](https://www.onetcenter.org/): 923개 직업군과 그 업무를 담고 있는 미국 노동부의 공식 분류 체계(taxonomy).- [Eloundou, Manning, Mishkin 및 Rock (2023)](https://arxiv.org/abs/2303.10130): O*NET의 각 업무에 대한 언어 모델 노출도를 라벨링한 연구.- Bureau of Labor Statistics, Occupational Employment and Wage Statistics: 각 직업군의 임금 총액을 계산하는 데 사용된 임금 출처.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61