벤치마크 리뷰(Benchmark Reviews)를 소개합니다. 이는 AI 벤치마크를 감사하기 위한 저희의 새로운 이니셔티브입니다. 총 15개의 벤치마크로 시작하며, 여기에는 검증됨(Verified) 4개, 결함 있음(Flawed) 9개, 그리고 리뷰에 충분한 정보가 없는 것(Not Enough Info) 2개가 포함됩니다.

벤치마크는 AI의 역량을 평가하지만, 벤치마크 자체의 품질은 상당히 다양합니다. 저희는 벤치마크 품질에 대한 일관된 정보 출처가 되기를 바랍니다. 리뷰는 여기에서 확인하실 수 있습니다:

저희는 다음 기준(rubric)에 따라 각 벤치마크에 판결을 내립니다: 결함 있음(Flawed), 검증됨(Verified), 또는 충분한 정보 없음(Not Enough Info).
이해 상충 방지를 위해 Epoch에서 생성한 벤치마크는 리뷰하지 않지만, 외부 리뷰는 환영합니다.

검증된(Verified) 벤치마크는 광범위하게 설명된 대로 해석될 수 있으며, 존재하는 오류가 결과에 실질적인 영향을 미치지 않습니다. 모든 검증된 벤치마크와 함께 저희는 해당 벤치마크의 약점과 한계를 포함하여 전체 리뷰 및 평가를 게시합니다.

결함이 있는(Flawed) 벤치마크는 사용자들이 결과를 정확하게 해석하는 데 인지해야 할 하나 이상의 실질적인 결함을 가지고 있습니다. 가장 흔한 경우는 과제 중 20% 이상에 정확도에 영향을 미치는 오류가 있다는 것입니다. 이 경우, 저희는 발견한 결함에 대한 제한적인 글을 게시합니다.