AI 모델의 승자를 결정하는 것은 누구일까요? 평가기관도 평가받아야 합니다.

AI 모델의 승자를 결정하는 것은 누구일까요? 평가기관도 평가받아야 합니다.

AI 모델을 비교할 때 우리는 흔히 1위라는 숫자를 봅니다. 하지만 그 순위는 누가 어떤 기준으로 만들었을까요?

Artificial Analysis가 10월 27일 Intelligence Index v5를 공개했습니다.

AI 모델을 지식 업무, 코딩, 과학, 일반 지식의 4개 영역으로 나누고 각각 25%씩 반영합니다. 총 9개 평가를 합산해 하나의 점수를 만듭니다.

이번 변경에서 가장 눈에 띄는 것은 전체 평가의 60%가 비공개 테스트나 공개되지 않은 정답을 사용한다는 점입니다.

시험 문제가 공개되면 AI 기업이 해당 문제에 맞춰 학습해 점수를 높일 수 있습니다. 실제 능력보다 시험에 익숙해지는 문제를 줄이려는 것입니다.

하지만 비공개 평가에는 대가가 있습니다. 외부 연구자들이 문제와 채점 오류를 직접 확인하기 어려워집니다. 평가기관의 판단을 더 많이 신뢰해야 합니다.

10월 28일 Interconnects의 Nathan Lambert도 이 문제를 지적했습니다.

v5에서는 상위 8개 폐쇄형 모델이 오픈 웨이트 공개 예정인 Kimi K3.1 Pro보다 높은 종합 점수를 기록했습니다.

그렇다고 오픈 모델의 경쟁력이 사라진 것은 아닙니다. 코딩에서는 여전히 강한 모습을 보이고, 추론 비용을 낮추거나 기업 내부 데이터에 맞춰 AI를 운영하는 것도 중요한 가치이기 때문입니다.

더 근본적인 문제는 평가 기준입니다.

어떤 시험을 선택하고, 코딩과 과학에 각각 얼마의 비중을 줄지는 평가기관이 결정합니다. 결국 종합 점수에는 평가기관의 관점이 들어갑니다.

Lambert는 Artificial Analysis의 평가를 유용하다고 인정하면서도 사업 모델과 이해관계, 독립적인 검증 가능성을 함께 살펴봐야 한다고 주장합니다.

저는 평가기관이 순위만 발표해서는 안 된다고 생각합니다.

평가 항목을 선택한 이유, 가중치에 따른 순위 변화, 독립 감사 결과까지 확인할 수 있어야 합니다. 하나의 종합 순위뿐 아니라 코딩·과학·실제 업무별 평가도 함께 제공해야 합니다.

특히 영어 중심 평가만으로 한국어 AI의 경쟁력을 판단해서도 안 됩니다.

AI 모델을 평가하는 기관이 시장의 승자를 결정한다면, 그 평가기관은 누가 검증해야 할까요?

#AI #인공지능 #벤치마크