AI 기업들은 수년 동안 “벤치마크 점수 (benchmark scores)”를 발표해 왔습니다. 여기 불편한 진실이 있습니다:

요약

AI 기업들이 오랫동안 발표해 온 벤치마크 점수에는 근본적인 문제가 존재합니다. 대부분의 점수는 재현(reproduce)하기 어렵고, 모델 자체는 지속적으로 변화하며, 프롬프트와 평가 설정 역시 시간이 지남에 따라 변동되기 때문입니다. 이로 인해 제시된 점수들은 마케팅 자료에만 남아있을 뿐, 실제적인 가치를 갖기 어렵습니다.

핵심 포인트

• 대부분의 AI 벤치마크 점수는 재현(reproduce)이 불가능하다.
• AI 모델은 지속적으로 변화하는 특성을 가진다 (Models change silently).
• 프롬프트와 평가 설정 역시 시간이 지남에 따라 표류(drift)한다.
• 기존의 벤치마크 점수들은 실제적인 가치를 갖기 어렵고 마케팅 용도로만 사용되는 경향이 있다.