내 프로젝트의 시간을 셀 수 없을 정도로 아껴준 한 가지는 바로 평가 (evals)입니다.

벤치마크 (benchmarks) 분야의 그야말로 전문가인 Florian이 2026년의 평가 (eval) 지형이 어떤 모습인지 살펴보기 위해 약 2시간 동안의 인터뷰에 응해주기로 했을 때, 저는 정말 흥분되었습니다.

(그리고 이 주제에 대한 저의 개인적인 비즈니스 질문에도 답해주었습니다.)

현재 프런티어 모델 (frontier model)을 벤치마크 (benchmarks)에 실행하는 것이 작업을 피하기 위해 다른 시스템을 해킹하는 벡터 (vector)가 되고 있다는 점을 고려할 때 (sol, 당신을 보고 있습니다), 평가 (evals) 상황에 대해 사람들을 교육하는 것이 그 어느 때보다 중요하다고 생각합니다.

이 세션 내내 정말 즐거웠으며, 여러분도 한두 가지를 배우게 되기를 바랍니다!

즐겁게 감상하세요! 🌹

목차:
0:00:00: AI 벤치마크 (Benchmark)는 망가졌는가?
0:05:45: Florian Brand의 배경
0:09:00: Florian이 평가 (evaluation) 연구를 하게 된 동기는 무엇인가?
0:13:33: mirrorcode 벤치마크 (benchmark)란 무엇인가?
0:18:20: 에이전트 (agent) 벤치마크 (benchmark)에서의 부정행위는 미쳤습니다
0:24:08: 에이전트 (agents) 시대의 LLM 벤치마크 (benchmarks)
0:26:30: pelican man은 어떻게 된 건가요
0:28:27: 평가 (evals)는 능력 (capabilities)에 관한 것입니다
0:31:46: 평가 (evals) 실행의 구성 요소
0:35:30: 감사해야 할 것들의 양이 엄청납니다!!!
0:40:20: 전문가의 답변이 틀렸습니다 하하하하
0:46:00: API 제공업체들은 동일하지 않습니다
0:48:00: 벤치마크 (benchmark)의 좁은 능력 (synthetically)
0:50:56: 평가 (eval)와 환경 (environment) 사이의 연결 고리
0:53:45: 작고 검증된 벤치마크 (benchmark)인가, 아니면 거대한 벤치마크 (bench)인가?
0:56:11: 벤치마크 (benchmark)를 검토하는 당신의 흐름 (flow)은 무엇인가요?
0:58:30: 평가 (evaluation)를 통한 작업 능력 (work capabilities) 추적
1:00:20: 업계의 슬라이드 덱 (slide deck)은 모두 분위기 (vibecoded)로 작성되었습니다
1:03:30: 평가 (evaluation)에서의 하네스 (harness) 영향
1:07:39: 하드웨어/샌드박스 (hardware/sandboxes)도 평가 (evaluation)에 영향을 미칩니다!
1:11:00: “상황이 더 악화될까요?”
1:12:40: 모든 구성 요소가 최종 점수에 영향을 미칩니다
1:13:50: 서로 다른 하네스 (harnesses)에서 모델을 학습시킨다면?
1:17:20: 모델은 단순히 가중치 (weights)인가, 아니면 그 전부인가?

1:19:30: 2026년에 모델의 부정행위 (cheating)와 능력 미발현 (undereliciting)을 방지하는 벤치마크를 제작하는 방법
1:23:19: 에이전트 (agents)가 부정행위를 하고 속임수를 쓰는 방식
1:26:00: 능력 (capabilities)을 정확하게 이끌어내는 것 (elicitation)의 중요성
1:36:00: 근본적인 지능 (prime intellect)에 기반한 평가 구축하기
1:45:10: 상호작용 (interactivity) 벤치마크를 어떻게 설계하는가?
1:48:40: 현재의 평가 (evals)가 실제 세계의 성능을 반영하기에 적절하게 설정되어 있다고 생각하는가?
1:52:50: 1년 후 벤치마킹 환경 (benchmarking landscape)은 어떤 모습일 것인가?