생성형 AI 평가의 패러다임 전환: MaSH 루프 프레임워크

요약

기존 생성형 AI 평가는 벤치마크를 통해 모델을 고립된 예측 기계로 간주하거나, 이상적인 성능에 초점을 맞추는 경향이 있습니다. 이로 인해 AI가 작동하는 복잡한 사회기술적 과정(sociotechnical processes)과 그 속에서 형성되는 가치가 무시되기 쉽습니다. 본 논문은 생성형 AI를 단일한 시스템으로 평가하는 대신, '다원주의적 사회기술 시스템 (pluralist sociotechnical system)'으로 접근해야 한다고 주장합니다. 이를 위해 '기계-사회-인간 (Machine-Society-Human, MaSH)

핵심 포인트

• AI 평가는 단순 출력 측정에서 가치 실현 과정 분석으로 초점을 전환해야 합니다.
• MaSH 루프는 모델, 사용자, 기관이 의미와 가치를 상호 재구성하는 순환적 과정을 추적하는 프레임워크입니다.
• World Values Benchmark를 통해 세계 가치 조사(World Values Survey) 데이터를 활용한 분포 기반 평가 방법을 제시했습니다.
• AI 평가는 중립적인 관찰이 아니라, 시스템의 거버넌스를 형성하는 능동적인 개입임을 강조합니다.