Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AI 평가 회사 Mercor가 미국 노동 시간과 AI 벤치마크 간의 대응 관계를 분석했습니다. 그 결과, 미국의 업무 시간 중 약 90%는 현재 벤치마크로 측정되지 않는 것으로 나타났습니다. 이는 단순히 'AI 점수'만으로는 실제 직무 수행 능력을 파악하기 어렵다는 것을 시사합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Qiita AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기📰 해외 사례
AI 점수가 계속 올라간다는 뉴스를 자주 접합니다. 하지만 그 점수가 '우리의 일'을 얼마나 측정하고 있는 것일까요? AI 평가 회사인 Mercor가 이러한 의문에 답하기 위해, 미국의 업무와 AI 벤치마크(AI의 성능을 측정하는 시험) 간의 대응 관계를 지도로 공개했습니다.
Mercor의 추정에 따르면, 미국에서 일하는 사람들의 노동 시간 중 약 90%는 아직 벤치마크로 거의 측정되지 않은 업무에 사용되고 있습니다.
즉, 'AI가 시험에서 몇 점을 받았는지'만으로는 많은 사람이 실제로 하는 일을 AI가 얼마나 수행할 수 있는지 알기 어렵다는 의미입니다.
미국에는 업무 내용을 정리한 공적인 데이터베이스(O*NET)가 있습니다. 이곳에서는 업무를 923개의 직업으로 나누고, 나아가 직업별로 '어떤 작업을 하는지'까지 세밀하게 기술되어 있습니다.
Mercor는 실제 업무와 유사한 문제를 출제하는 29가지의 벤치마크를 선정하여, 각 문제 하나하나가 어떤 작업에 해당하는지 조사했습니다. 그리고 특정 작업에 문제가 5개 이상 있으면 '측정되고 있다'고 계산했습니다.
조사 결과, 측정되는 업무에는 세 가지 편향이 있었습니다.
첫째는 AI로 대체되기 쉬운 업무일수록 측정된다는 점입니다. 프로그래밍이나 금융 분석 같은 분야는 자주 출제되는 반면, 트럭 운전과 같은 업무는 거의 등장하지 않습니다. 이는 AI의 발전을 측정하기 위한 시험이라는 점에서 일종의 자연스러운 결과라고 할 수 있습니다.
둘째는 규모가 큰 직업일수록 측정된다는 점입니다. 해당 직업에 종사하는 사람들의 급여 총액이 클수록 시험에 포함되기 쉽습니다. 예를 들어, 변호사의 업무는 자주 측정되지만, AI의 영향을 받기 쉬운 법률 사무원의 업무는 거의 측정되지 않았습니다. 근무 인원이 많고 중위 소득 수준인 사무/지식 기반 직업들이 전반적으로 누락된 형태입니다.
셋째는 직업 내에서도 '핵심적인 작업'일수록 측정된다는 점입니다. 직업별 중심 업무는 출제되기 쉬운 반면, 주변부의 작업들은 뒷전으로 밀려나고 있습니다.
Mercor는 제한된 노력을 중요한 업무에 사용하는 것은 합리적이라고 지적하면서도, 이대로라면 큰 누락이 남을 것이라고 경고했습니다.
Mercor는 예시로 투자은행, 법률, 회계, 소프트웨어 개발의 네 가지 직업에 대해 직업별 AI 점수를 산출해 보았습니다. 그러나 작업별로 계산할 만큼 충분한 문제가 모여 있는 경우는 전체의 3분의 1에도 미치지 못했습니다.
여전히 남은 과제들이 있습니다.
참고로, 이번 수치는 29가지 시험만을 기반으로 한 잠정적인 것이며, 대상을 늘려 업데이트할 예정이라고 합니다.
AI 점수가 높다는 것과 자신의 업무에 AI가 유용하다는 것은 별개의 문제입니다. 시험에 강한 분야에 편중되어 있는 이상, 점수 뉴스는 '어떤 업무를 측정했는지'까지 보고 받아들일 필요가 있을 것 같습니다.
AI가 시험에서 몇 점을 받을지, 실제 업무에서 얼마나 활용될 수 있는지는 아직 조사가 따라가지 못하고라는 생각이 들었습니다. 그렇다고는 해도, 프로그래밍이나 금융 분석처럼 대체하기 쉬운 업무부터 진행되고, 규모가 크고 급여가 높은 업무일수록 'AI로 괜찮지 않을까?' 하는 이야기가 나오는 것은 당연할 것 같습니다.
사실은 단순 작업이야말로 AI에 맡기는 것이 좋을 것입니다. 하지만 사무직이라 하더라도 서류를 만드는 것은 AI가 할 수 있어도, 데이터만 내놓는 것으로 끝나지 않고 물리적인 작업이 필연적으로 남습니다. 현재 방식 그대로 AI에게 읽히게 하려면, 종이 문서를 스캔하여 PDF로 만드는 등의 과정이 먼저 필요합니다. 업무 방식 자체가 변하지 않았기 때문에, 방식을 바꾸지 않아도 대체될 수 있는 업무부터 AI의 진출(혹은 침식)이 시작되는 것일 겁니다.
트럭 운전처럼 비교적 단순하고 규모가 큰 작업은 한 번 자동화되면 이점이 크기 때문에 연구는 진행될 것이라고 생각합니다. 다만, 실패했을 경우 생명과 관련된 사고로 이어질 수 있다는 점이 어렵습니다. 사무직이라면 실수해도 사망이나 폭발 같은 일은 없으니까요.
이야기가 다른 곳으로 흘러가지만, 운전 판단에 Claude와 같이 만능인 전지전능한 AI를 사용할 필요는 없습니다. 오히려 가볍고 판단이 빠르며 오차가 적은 모델을 만들어 드라이버 AI로 사용하는 것이 좋을 것 같습니다. 요구 사양(requirement spec)을 낮추면 도입과 운영 비용도 극적으로 줄어들 것입니다.
AI의 발전 속도가 이렇게 빠르다면, 다양한 직업들이 AI로 대체될 것이 분명합니다. 앞으로 인간 사회가 어떻게 변화할지, 정말 산업 혁명이라고 생각합니다.