벤치마크가 아닌 유용성에 집중하기

요약

기존 ML 논문들이 벤치마크 점수 같은 측정 가능한 지표에 과도하게 집중하는 경향이 있음을 지적합니다. 하지만 이러한 벤치마크는 새로운 패러다임의 변화나 궁극적인 유용성을 포착하지 못하는 치명적인 결함이 있습니다.

핵심 포인트

• ML 논문들이 벤치마크 점수에 과도하게 집중하는 경향이 있다.
• 벤치마크는 전체 최종 목표(end game)를 측정할 수 없다.
• 궁극적인 결과에 주의를 기울이는 것이 중요하다.