저는 그래핀 및 2D 물질 분야에서 일하며, 연구 그룹에서 수행되는 일상적인 기술 업무를 테스트로 만들었습니다. 이 테스트는 총 7가지 부분으로 구성되어 있습니다: 실험실 표준 작업 절차(SOP)에 맞추어 지저분한 인장 데이터 세트(tensile data set)를 줄이는 과정(단위 및 이상치 함정 포함), 세 개의 숨겨진 구조물에 대해 검증되는 CIF 밀도 함수 작성, 네 가지 근사 물리학 계산(back-of-envelope physics calculations), 10개의 의도된 오류와 6개의 정확하지만 의심스러운 미끼가 있는 원고 비평, 보정 점수제가 적용된 거짓 전제 및 조작된 논문 질문, 실험 설계, 그리고 제약 조건 하의 초록 작성입니다. 모든 데이터는 합성(synthetic)이며, 정답 키는 코드로 계산되었고, 8가지 범주에 걸쳐 100점 만점으로 채점됩니다.
설정: Gemini 4 Carbon 및 Gemini 4 Hydrogen (Antigravity), Claude Opus 5.5 및 Claude Fable 5.2 (Claude 앱). 모두 최대치가 아닌 '높음(High)' 수준으로 설정했습니다. 각 모델당 3번의 새로운 실행을 진행했으며, 파일과 프롬프트는 첨부했고 다른 것은 없었습니다. 웹 검색 및 코드 실행 기능은 활성화되어 있었습니다.
결과: 평균 점수는 각각 100.0 / 99.7 / 99.3 / 98.5였습니다. 모든 12회 실행은 97.8점에서 100점 사이에 속했으며, 각 테스트는 7~24분이 소요되었습니다. 모든 실행에서 단위 함정을 포착했고, 숨겨진 CIF 테스트를 통과했으며, 미묘한 물리학적 오류(platelets의 경우 Krenchel 8/15, 그래핀 양자 정전용량)를 정확히 파악했습니다. 또한 10개의 의도된 오류를 오탐지 없이 모두 찾아냈고, 거짓 전제와 가짜 논문은 거부했습니다. 감점 요인은 형식적인 지식(formatting trivia)이었습니다. 세 번의 실행에서는 제가 심어놓지 않은 원고의 실제 오류를 발견하기도 했습니다.
주의사항: 평가자는 한 명이었으며, 모델당 n=3으로 진행했고, 저는 Claude Opus 5.5의 도움을 받아 테스트를 설계했습니다 (그럼에도 불구하고 Gemini 모델들이 가장 좋은 성과를 보였습니다). 제가 파악하기로는 이것은 FrontierScience, METR 시간 지평선(time horizons), 그리고 PaperBench와 일치하는 결과입니다: 알려진 절차에 따른 제한된 작업은 포화 상태이며, 격차가 존재하는 곳은 장기 지평선적이고 개방적인 작업 영역입니다. 다음으로는 시뮬레이션 실험실 캠페인을 구축할 예정입니다: 에이전트에게 예산, 기구, 목표 사양을 부여하고, 실제 프로젝트가 가질 법한 종류의 의도된 놀라움과 모든 행동에 대한 서명된 로그를 주어 2~6시간 동안 실행합니다. 커뮤니티 여러분께 질문드립니다: 사람들은 궤적(trajectory)을 어떻게 점수화하고 있나요 (예:
잘못된 초기 가정으로부터의 회복)을 장기 지평선 평가(long-horizon evals)에서 최종 결과와 별개로 측정했나요? 그리고 그 길이의 에이전트 작업(agentic tasks)에 대해 측정된 인간 기준선(human baselines)을 실행한 사람이 있습니까? 박사 과정 학생: 저의 추정치는 집중적인 작업 시간 1116시간과 예상 점수 7590점이며, 이는 측정이 아닙니다. 전체 글: https://aiamnano.substack.com/p/frontier-ai-models-vs-phd-student, 작성자 /u/v_aravind [링크] [댓글]
