Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 기사는 AI 모델의 성능을 평가하는 다양한 벤치마크들의 출시일 분석 방법을 제시합니다. 특정 벤치마크는 시간이 지나면서 과대평가되거나 신뢰도가 떨어질 수 있습니다. 따라서 최신 버전이 공개된 날짜를 기준으로 삼아 벤치마크의 유효성을 판단해야 합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Reddit AI Engineering의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기저는 Artificial Analysis 페이지에서 평가 목록을 찾았고, 표시된 벤치마크들의 출시일을 조사했습니다. 사용 가능한 출시일에 따라 최신순부터 오래된 순서로 정리한 평가 목록입니다. 주목할 점은 벤치마크가 3~4개월 정도 되었을 때 'benchmaxxing'이 일어나서 더 이상 신뢰할 수 없는 벤치마크가 된다는 것입니다! 이 시점에서는 평가 주체들이 종종 새로운 버전을 출시합니다. 현재로서는 이것이 이러한 문제에 대처하는 유일한 방법입니다. 아래 표는 벤치마크의 공개 또는 발표 날짜를 기준으로 최신순부터 오래된 순서로 정렬되어 있습니다. 특정 날짜가 제공되지 않은 경우, 가장 관련성이 높은 기간이 기재되었습니다.
[완전 평가 타임라인 (최신순 → 오래됨순)]
| 코드 | 평가명 | 출시/발표일 | 참고 사항 |
|---|---|---|---|
| Code2Video-AA | October 26, 2026 | 코드를 기반으로 하는 비디오 생성 능력을 평가하기 위해 출시됨. | |
| CritPt v2 | October 26, 2026 | 업그레이드된 물리 추론 벤치마크; 일부 출처에서는 도전 과제가 Oct 22에 공개되었다고 언급함. | |
| FrontierCode 2.0 | October 27, 2026 | Cognition의 코딩 벤치마크 최신 버전. | |
| AA-PersonalityBench | October 19, 2026 | AI 커뮤니케이션 스타일과 성격 특성을 측정함. | |
| HealthBench (Professional) | October 19, 2026 | Artificial Analysis가 OpenAI의 건강 대화 벤치마크 리더보드를 이 날짜에 출시함. | |
| AA-3D | October 12, 2026 | 모델이 인터랙티브한 3D 장면을 구축하는 능력을 평가함. | |
| Harvey LAB-AA v1.1 | October 8, 2026 | 환각(hallucination) 검사를 추가하여 법률 에이전트 벤치마크를 업데이트함. | |
| HLE-Diamond | September 22, 2026 | 'Humanity's Last Exam' 벤치마크의 정제된 1,000개 문항 하위 세트. | |
| GDPval-AA v2.1 | September 19, 2026 | Elo 앵커링을 조정하여 경제적 가치 벤치마크를 업데이트함. | |
| MLCR-AA | August 21, 2026 | Artificial Analysis가 Wisedocs의 의료 장문 컨텍스트 추론(Medical Long Context Reasoning) 벤치마크 리더보드를 제공함. | |
| AA-AnalystAgent | August 10, 2026 | 스프레드시트와 문서에 대한 에이전트 기반 정량 분석을 위한 벤치마크. | |
| Terminal-Bench 4.0 | August 26, 2026 | 터미널 에이전트 벤치마크의 주요 버전 업데이트. |
Terminal-Bench-Science 0.1 (2026년 8월 27일) AI 에이전트를 과학 연구 워크플로우로 평가합니다.
FrontierCode 1.1 (2026년 7월 7일) Cognition의 코딩 벤치마크 업데이트 버전으로, 공정한 인터넷 사용 규칙을 추가했습니다.
AutomationBench-AA (2026년 7월 6일) Artificial Analysis가 Zapier의 워크플로우 자동화 벤치마크를 위해 만든 리더보드입니다.
EnterpriseOps-Gym-AA (2026년 7월 8일) ServiceNow와 함께 개발된 엔터프라이즈 운영을 위한 에이전트 기반 벤치마크입니다.
AA-Briefcase (2026년 6월 18일) 에이전트 작업을 위한 최첨단 지식 작업 평가 도구입니다.
ITBench-AA (2026년 5월 27일) IBM과 함께 출시된 엔터프라이즈 IT 작업을 위한 에이전트 기반 벤치마크입니다.
APEX-Agents-AA (2026년 4월) Artificial Analysis가 장기적인 전문 작업(long-horizon professional tasks)을 위해 구현한 APEX-Agents 벤치마크입니다.
AA-Omniscience (2025년 11월 17일) 지식 및 환각(hallucination) 벤치마크이며, arXiv 논문이 이 날짜에 게시되었습니다. ³-
Banking (2025년 11월 14일) Sierra Research에서 제공하는 핀테크 고객 지원 벤치마크이며, AA 리더보드 페이지가 이 날짜에 출시되었습니다.
AA-LCR v1.1 (~2025년 8월) 장기 컨텍스트 추론(Long Context Reasoning) 벤치마크의 업데이트 버전입니다. 정확한 공개일은 명확하게 문서화되어 있지 않습니다.
IFBench (2025년 7월 3일) "Generalizing Verifiable Instruction Following"라는 arXiv 논문을 통해 소개되었습니다.
Terminal-Bench Hard (2025년) 어려운 작업에 초점을 맞춘 Terminal-Bench의 변형 버전으로, 2025년에 출시되었습니다. ²-
Bench Telecom (2025년 6월) 통신 지원을 위한 τ²-Bench 프레임워크의 도메인별 하위 집합입니다.
MMMU-Pro (2024년 9월 5일) MMMU 멀티모달 이해 벤치마크의 보다 강력한 버전입니다.
MMLU-Pro (2024년) 원래 MMLU 벤치마크의 더 어려운 후속작입니다.
LiveCodeBench (2024년 3월) 오염 방지(contamination-free) 코드 평가를 위한 arXiv 프리프린트로 소개되었습니다.
GPQA Diamond (2023년 11월 20일) GPQA 벤치마크의 가장 어려운 하위 집합이 이 날짜에 공개되었습니다.
MATH-500 (2023년 5월 31일) OpenAI가 발표한 논문에서 MATH 데이터셋의 500문제로 구성된 하위 집합이 소개되었습니다.
AIME (2025년 2월 6일) 이는 2025년 AIME 시험 자체를 지칭하며, 이후 벤치마크로 사용되었습니다.
Terminal-Bench 2.1: 출시일이 명확히 언급되지 않음. 이는 Terminal-Bench 2.0의 검증된 업데이트 버전이지만, 정확한 공개 배포일은 검색 결과에서 명확하게 확인되지 않습니다.
Global-MMLU-Lite: 버전에 따라 다름. 여러 버전이 존재합니다(예: 2024년 12월의 v1.0, 2026년 5월의 v3.0) 따라서 단일한 출시일은 없습니다.
제출자: /u/Express_Quail_1493 [링크] [댓글]