미국 노동 시간의 90%는 현재 AI 벤치마크가 충분히 다루지 못하는 작업에 사용됩니다

최근 몇 년 동안 AI 벤치마크가 급증했지만, 경제적으로 가치 있는 업무 영역을 포괄하는 범위는 여전히 제한적입니다. 이를 측정하기 위해, 저희는 미국 직업의 범위를 측정할 수 있는 관련 벤치마크들을 모았습니다. 이 벤치마크 맵은 전반적인 경제에 걸친 AI 역량을 이해하기 위한 종합적이고 지속적으로 업데이트되는 자료를 구축하려는 첫걸음입니다.

각 타일은 미국 노동력을 구성하는 923개의 ONET 직업 중 하나를 나타내며, 이는 22개의 직무군(job family)으로 그룹화되어 있습니다. 직업의 음영 처리는 해당 직업의 작업 중 초기 AI 벤치마크 목록에 의해 얼마나 많이 대표되는지에 따라 결정됩니다. 단일 벤치마크 프롬프트는 여러 ONET 작업과 연결될 수 있습니다.

직무군을 클릭하여 열어보세요.

저희 데이터 세트에서: 923개 직업 중 단 208개의 직업만이 최소 5개의 벤치마크 프롬프트를 가진 작업을 보유하고 있으며, 22개 직무군 중 6개는 그러한 직업이 없습니다.

저희의 연구 결과에 따르면 미국인의 근무 시간의 90%는 기존 벤치마크로부터 적거나 전혀 커버되지 않는 작업에 사용되고 있습니다. 이로 인해 미국인들이 실제로 수행하는 업무에서 AI 모델이 얼마나 좋은지 파악하기가 매우 어렵습니다.

기존 벤치마크의 커버리지 또한 무작위적이지 않습니다. 저희 지도는 AI 커뮤니티가 가장 큰 노동 시장에 먼저 초점을 맞추고 있음을 시사합니다:

조정된 작업 커버 확률
연간 직업 임금 청구액 (로그 스케일)

각 항목은 주어진 AI 노출 태그를 가진 O*NET 작업이 특정 임금 청구액(wage-bill)을 가진 직업에 속할 때, 저희 벤치마크 인덱스의 최소 5개 프롬프트로 커버될 것으로 예상되는 확률을 보여줍니다. AI 노출 태그는 이진값이며 Eloundou et al. (2023)에서 가져왔습니다. 직업 임금 청구액은 주 40시간 근무를 가정하고 BLS가 추정한 평균 임금과 각 직업에 종사하는 미국인 수로 계산되었습니다. 예상 커버리지 확률은 AI 노출 및 로그 직업 임금 청구액을 이용한 작업 수준 로지스틱 회귀분석(task-level logistic regression)에서 나옵니다. 오차 막대는 직업 그룹 수준으로 클러스터링된 표준 오차를 기반으로 하는 점별 95% 델타 방법 신뢰 구간입니다.

예를 들어, 저희 초기 목록의 벤치마크들은 AI에 노출된 변호사들의 작업은 광범위하게 다루지만, 유사하게 AI에 노출된 법률 비서나 법원 서기 등의 O*NET 작업 중 어느 것도 거의 다루지 못합니다. 규모가 작고 중간 소득층의 지식 노동 직업군을 대표하는 긴 꼬리(long tail) 부분은 충분히 커버되지 않은 것으로 보입니다.

저희가 경제 전반에 걸쳐 모델 역량에 대한 커버리지를 구축함에 따라, 모델이 무엇을 할 수 있는지에 대한 이해의 격차를 드러내고 채우는 데 도움을 주기를 바랍니다.

경제를 부문(sectors), 직업(occupations), 작업(tasks)으로 세분화하기 위해 미국 노동부(US Department of Labor)의 ONET 분류 체계를 사용했습니다. ONET은 미국 노동력을 923개 직업으로 나누며, 각 직업에 대해 그 직업을 구성하는 포괄적인 '작업' 목록을 제공하려고 시도하며, 이는 모든 직업에 걸쳐 총 18,797개의 작업에 달합니다.

벤치마크 커버리지를 측정하기 위해, 저희는 품질과 경제적 관련성 때문에 선정된 29개 벤치마크 목록으로 시작했습니다. (전체 목록 및 선정 기준은 Benchmark Index 탭에 있습니다.) 이 목록의 벤치마크를 선정할 때, 저희는 다음 사항들을 우선시했습니다:

Wang 등이 수행한 작업에 이어, 우리는 LLM 심사관에게 각 벤치마크 프롬프트가 대응한다고 생각하는 가능한 많은 ONET 작업 태그를 지정하도록 요청했습니다. 우리는 Mercor의 APEX 벤치마크(이 목록 중 일부인 29개)에서 인간 전문가 태그와 우리의 LLM 태깅을 검증했습니다. 벤치마크 맵에서, ONET 작업은 우리의 LLM 심사관이 이를 29개 벤치마크 중 최소 5개의 프롬프트에 매핑했을 경우 “커버됨”으로 간주됩니다.

이 목록의 벤치마크로 커버되는 작업에 미국인들이 사용하는 총 근로 시간 점유율을 추정하기 위해, 우리는 우리의 커버리지 추정치를 Hatgis-Kessell 등이 수행한 각 O*NET 작업의 근로 시간 점유율에 대한 LLM 기반 추정치와 결합했습니다.

우리의 방법론에 대한 더 자세한 내용은 'Methodology' 탭에서 확인할 수 있습니다.

총 경제적 커버리지 및 커버리지 패턴에 대한 우리의 추정치는 모두 우리가 선택한 초기 29개 벤치마크 목록에서 비롯됩니다. 이것은 포화되지 않은, 공개적인, 에이전트 기반의 더 넓은 범위의 경제 벤치마크를 완전히 또는 완벽하게 대표하는 표본이 아닙니다. 불완전한 목록은 필연적으로 경제적 커버리지 추정치를 낮게 편향시키며, 이러한 편향을 제한하기는 어렵습니다. 따라서 우리는 이 결과들이 잠정적임을 강조하고 싶습니다. 초기 벤치마크 목록을 확장함에 따라 이를 업데이트할 것입니다.

또한, 우리는 각 직업군에서 포함된 벤치마크 수를 제한하여 커버리지의 폭을 최대화했습니다. 우리는 이것이 가장 많이 벤치마크된 직업군(예: 소프트웨어 엔지니어링)에서의 커버리지 추정치를 낮게 편향시키는 대가로, 경제 전반의 벤치마크 커버리지 추정치를 더 정확하게 만든다고 생각합니다.

불포화(unsaturated) 벤치마크를 선택할 경우, LLM이 완료하기 쉬운 O*NET 작업에 대한 벤치마크 커버리지를 과소평가할 위험이 있습니다. 반면에, 포화(saturated) 벤치마크를 포함하는 것은 하위 작업의 현실성이 낮을 때 포화가 발생하는 경우라면, 벤치마크 커버리지를 과대평가할 위험을 초래합니다. 후자의 주장이 더 그럴듯해 보입니다. 왜냐하면 벤치마크는 실제 배포 환경에서 LLM 성능을 종종 과장하기 때문입니다. 우리는 포화 벤치마크를 포함함으로써 발생하는 편향이 제외함으로써 발생하는 편향보다 클 것이라고 생각하지만, 어느 쪽도 이상적이지 않습니다.

마지막으로, 우리가 'Benchmark Index' 탭에 벤치마크 선택 기준을 설명하고 있지만, 몇 가지 기준(예: '경제적 현실성')은 공식화하기 어려워 우리의 선택에 주관성을 도입합니다.

우리의 인덱스에 있는 벤치마크는 전반적인 경제에 대해 비교적 깊고 좁은 커버리지를 가지고 있습니다. 이들은 AI 자동화에 가장 많이 노출되는(Eloundou et al.에 의해 측정됨) 경제 작업에 불균형적으로 초점을 맞추고 있으며, O*NET 작업 중 '노출됨(exposed)'으로 평가된 작업이 '비노출됨(unexposed)'으로 평가된 작업보다 벤치마크에서 나타날 가능성이 약 6배 더 높습니다. 이는 당연합니다. 벤치마크는 AI의 발전을 측정하도록 설계되었고, AI 발전은 가장 AI 노출도가 높은 작업에서 가장 그럴듯하기 때문입니다. 이것이 벤치마크가 소프트웨어 엔지니어링(Software Engineering)과 금융 분석(Financial Analysis) 분야의 작업들로 가득 차 있는 반면, 트럭 운전(Truck Driving)이나 가스 플랜트 운영(Gas Plant Operation) 같은 작업에서는 희소한 이유를 설명합니다.

하지만 AI 노출도를 통제하더라도, 임금 청구액이 더 큰 직업의 O*NET 작업들이 벤치마크 프롬프트에서 유의미하게 과대 대표됩니다:

작업 커버리지에 대한 조정된 확률
연간 직업 임금 청구액 (로그 스케일)

각 지점은 특정 임금 청구액을 가진 직업에 속하며 주어진 AI 노출 태그를 가진 O*NET 작업이 우리 벤치마크 인덱스에서 최소 5개의 프롬프트로 다루어질 것으로 예상되는 확률을 보여줍니다. AI 노출 태그는 이진(binary)이며 Eloundou et al. (2023)에서 가져왔습니다. 직업 임금 청구액은 주당 40시간 근무를 가정하고 BLS가 추정한 평균 임금과 각 직업에 종사하는 미국인 수를 기반으로 계산되었습니다. 예상 커버리지 확률은 AI 노출 및 로그 직업 임금 청구액을 이용한 작업 수준 로지스틱 회귀(task-level logistic regression)에서 나옵니다. 오차 막대는 직업 그룹 수준에서 클러스터링된 표준 오차를 기반으로 하는 지점별 95% 델타 방법 신뢰 구간입니다.

직업 및 AI 노출 점수를 통제한 후, ONET의 “작업 중요도(task importance)”는 또 다른 벤치마크 커버리지 예측 변수입니다. 특히, ONET 작업은 해당 직업에 대한 작업의 중요도를 15점 척도로 평가하는 도메인 전문가의 추정치를 가지고 있습니다. 우리는 가장 중요하다고 점수가 매겨진 작업이 가장 중요도가 낮다고 점수가 매겨진 작업보다 벤치마크에서 표현될 가능성이 약 610배 더 높다는 것을 발견했습니다:

작업 커버리지 조정 확률

O*NET 작업 중요도 (1–5 등급 척도)

각 지점은 직업을 통제하고 주어진 AI 노출 태그와 주어진 분위수(quintile) ONET 중요도 점수를 가진 ONET 작업이 우리 벤치마크 인덱스에서 최소 5개의 프롬프트로 다루어질 것으로 예상되는 확률을 보여줍니다. AI 노출 태그는 이진이며 Eloundou et al. (2023)에서 가져왔습니다. 중요도 분위수는 O*NET 중요도 점수를 기반으로 계산되었습니다. 예상 커버리지 확률은 직업 고정 효과(fixed effects)를 두고 AI 노출 및 중요도 분위수를 이용한 작업 수준 로지스틱 회귀에서 나옵니다. 오차 막대는 직업 그룹 수준에서 클러스터링된 표준 오차를 기반으로 하는 지점별 95% 델타 방법 신뢰 구간입니다.

위의 그래프들은 지금까지 고품질이며 경제적으로 관련성이 높은 벤치마크에 할당된 상대적으로 제한적인 자원 배분이 합리적임을 시사합니다. 따라서 가장 중요한 작업이자 AI가 노출되는 직업군 중 임금 규모가 가장 큰 곳을 다루는 벤치마크를 만드는 것을 우선시하는 것은 당연합니다. 하지만 이러한 벤치마크의 수와 다양성이 크게 증가하지 않는 한, 이러한 패턴은 경제적으로 가치 있는 모델 역량에 대한 우리의 시야에 상당한 사각지대를 초래할 것입니다.

모델 역량을 직업군별로 측정하는 것은 필수적입니다. 이는 기업이 어떤 모델이 자신들의 필요에 맞는지 결정할 때, 정책 입안자가 AI의 경제적 영향을 예측할 때, 그리고 미국인들이 자신의 경력을 생각할 때 모두 해당됩니다. 불행하게도, 이것은 해결하기 어려운 문제입니다.

우리는 특정 직무와 관련된 모든 벤치마크 프롬프트에 대한 모델 성능을 단순히 평균 내려고 할 수 있습니다. 하지만 저희의 Benchmark Map이 시사하듯이, 벤치마크들은 경제적 작업들을 서로 다르게 집중적으로 다루고 있습니다. 단순 평균은 자주 벤치마킹되는 작업들에 너무 큰 가중치를 부여할 것입니다.

ONET은 이러한 편향을 잠재적으로 줄일 수 있는 방법을 제공합니다. 만약 우리가 ONET 분류에 의해 가중치가 부여된 직업 관련 벤치마크 프롬프트에서 모델 성능을 평균낸다면, 즉 각 ONET 작업이 우리의 직업 평균에서 동일하게 가중치를 갖도록 한다면*, 우리는 실제 경제적 성능을 나타내는 수치에 한 걸음 더 다가갈 수 있습니다.

첫 단계로, 저희는 네 가지 직업군(투자 은행, 법률, 회계, 소프트웨어 엔지니어링)에 대한 Mercor의 APEX 벤치마크를 사용하여 이 접근 방식을 시도해봅니다. 우리는 O*NET 가중치 점수를 각 직업과 관련된 작업에 대한 모델 성능의 단순 평균과 비교합니다. 그 결과로 나온 가중치 및 비가중치 점수들은 일반적으로 상당히 유사합니다:

APEX-1 + APEX-Agents · O*NET: 금융 및 투자 분석가 · 11개 작업 · 176개 프롬프트

하지만 수십 개의 벤치마크에서 작업을 통합하더라도 여전히 몇 가지 장애물이 남아있습니다:

미국 경제에서 수행되는 작업의 광범위함 때문에 어떤 O*NET 직업과 작업에 대해서도 상대적으로 적은 벤치마크 항목을 가지고 있습니다. 이는 우리의 추정치가 본질적으로 통계적 검정력이 부족하다는 것을 의미하며, 단 하나의 또는 두 개의 저품질 항목만으로도 점수에 심각한 편향을 초래할 수 있습니다.

일부 벤치마크 항목은 포화도가 매우 높은 반면, 다른 항목들은 여전히 해결되지 않은 상태입니다. 이는 부분적으로 시간의 함수(오래된 벤치마크는 성능이 낮은 모델과 더 단순한 환경을 위해 설계되었기 때문)이며, 부분적으로 품질의 함수(일부 벤치마크 항목은 지나치게 단순하게 평가되거나 사소한 오류가 있거나 보상 해킹(reward hacked)될 수 있기 때문)입니다. 우리는 아직 품질별로 가중치를 부여하는 명시적인 방법이 없습니다.

실제 세계에서 AI 모델은 여전히 전체 직무 기능을 종단 간(end-to-end)으로 자동화하기보다는 주로 인간에 의해 사용됩니다. 따라서 모델의 실제 직업 역량을 측정하려면 이상적으로는 모델이 인간의 생산성을 얼마나 증강시키는지 측정하는 것을 포함해야 합니다. 우리는 이 방향으로 초기 작업을 완료했지만, 확장 가능한 방법론을 찾는 것은 여전히 어려운 과제입니다.

지식 기반 작업은 노트북이나 휴대폰 같은 디지털 기기에서 주로 이루어지므로 벤치마크를 통해 측정하기에 적합합니다. Dingel과 Neiman은 미국 일자리의 단 37%만이 원격으로 완전히 수행 가능할 것이라고 추정하며, 이는 약 63%의 직업이 물리적 세계 구성 요소(physical-world component)와 관련된 작업을 포함하고 있어 현재 벤치마크에 통합하기 어려움을 시사합니다. 당분간은 이것이 의미 있는 간과일지는 모르나, 로봇 공학 역량(robotics capabilities)의 급속한 발전으로 인해 물리적 작업 벤치마크에 대한 상당한 필요성이 예상됩니다.

저희는 이러한 문제들을 적극적으로 연구하고 있습니다. 만약 귀하도 관련 작업을 하고 계시다면 연락 주시기 바랍니다!

O*NET 태깅 방법론(tagging methodology)에 대해 Wang 등의 도움에 감사드리며, 이 작업 초안에 대한 피드백을 준 Nathan Lambert에게 감사를 표합니다.