AI 노출 점수(AI Exposure Scores): 측정 대상, 간과된 점, 그리고 향후 과제

2023년에 계산된 일련의 노출 점수(exposure scores)는 미래의 일(future of work)에 관한 논쟁에서 핵심적인 실증적 입력값이 되었습니다. Eloundou 등(2023)에 의해 생성되었으며 여기서 'GPTs are GPTs' 점수라고 지칭되는 이 점수들은, 거대 언어 모델(Large Language Model, LLM)이 보조할 수 있는 직업적 과업(occupational tasks)의 비중을 노출(exposure)로 정의합니다. 이 연구는 진정한 방법론적 기여를 이루었으나, 이 점수들이 생성된 시점과 장소를 벗어나 확산됨에 따라 저자들이 명시했던 한계점들이 항상 함께 전달되지는 않습니다. 그 결과 두 가지 격차가 벌어졌습니다.

첫 번째는 구조적 격차로, 정적인 노출 점수(static exposure scores)가 측정하는 것과 정책적 질문이 실제로 요구하는 것 사이의 차이입니다. 이 점수들의 확산을 사례 연구로 삼아, 우리는 시간적, 지리적, 존재론적(ontological) 한계가 정책 중심 분석에서 어떻게 복합적으로 작용하는지 보여주며, 이러한 한계에 대응하는 다섯 가지 연구 범주를 조사합니다: 동적 및 벤치마크 기반 측정(dynamic and benchmark-based measures), 앙상블 방법(ensemble methods), 과업 프레임워크 확장(task-framework extensions), 노동자 중심 지표(worker-centered metrics), 그리고 채택 및 사용 데이터(adoption and usage data).

두 번째 격차는 우리가 더 많은 주의를 기울여야 한다고 주장하는 부분인 연구자와 정책 입안자 간의 조율입니다. 누가 피해를 입는지, 누가 이익을 얻는지, 어떻게, 그리고 언제 발생하는지를 묻는 정책 관련 연구들은, 이러한 질문들에 더 신뢰성 있게 답할 수 있게 해주는 방법론적 업데이트를 반영하지 않은 채 정적인 'GPTs are GPTs' 점수를 계속해서 인용하고 있습니다.

그 후 우리는 불확실성을 헤쳐 나가기 위해 남아 있는 추가적인 단계들을 질문합니다: 사후 프레임워크(ex-post frameworks)와 어떤 미래가 구축할 가치가 있는지를 재구상하는 의도적이고 정치적인 작업이 그것입니다. 연구-정책 격차를 좁히는 것은 공동의 과제입니다. 정책 입안자는 증거 기반을 넓히고, 노동자를 인식론적 파트너(epistemic partners)로 참여시키며, 예측(prediction)에서 대비(preparedness)로 전환해야 합니다. 연구자는 데이터 인프라를 구축하고, 참여형 방법론(participatory methods)을 채택하며, 정책 입안자를 염두에 두고 글을 써야 합니다. 더 나은 측정은 중요하지만, 그것만으로는 두 번째 격차를 메울 수 없을 것입니다.