자율 주행 화학 실험실(Self-Driving Chemical Laboratories, SDCLs)은 화학 실험을 체화된 자동화 방향으로 전환하고 있으며, 이 과정에서 기계는 실험실 장면을 인식하고, 실험 상태에 대해 추론하며, 물리적, 절차적, 안전 제약 조건 하에서 행동해야 합니다. 멀티모달 대규모 언어 모델(Multimodal Large Language Models, MLLMs)이 이러한 시스템의 체화된 두뇌로 점점 더 간주되고 있음에도 불구하고, 기존 실험실 벤치마크는 주로 안전성, 이상 감지 또는 일반적인 과학적 이해에 초점을 맞추고 있어, 실행 중심의 체화 능력이 충분히 탐구되지 못하고 있습니다.
이러한 격차를 해소하기 위해, 우리는 SDCLs에서 체화된 실행 가능성(Embodied Actionability), 지식(Knowledge), 실험 수행(Experimentation), 추론(Reasoning)을 평가하는 벤치마크인 BEAKER를 소개합니다. BEAKER는 11가지 이미지 및 비디오 작업 유형에 걸쳐 전문가가 큐레이션한 1,000개의 질문-답변 샘플을 포함하며, 여기에는 어포던스 접지(affordance grounding), 궤적 계획(trajectory planning), 장비, 상태 및 안전 인식, 기구 설정, 작동 및 단계 추론, 시간적 절차 추론 등 화학 실험실 실행에 필요한 핵심 판단들이 포함됩니다. 모든 질문과 주석은 AI의 도움을 받지 않고, 화학 및 체화된 인공지능(AI) 전문가들에 의해 수동으로 생성되고 검토되었습니다.
우리는 28개의 범용, 과학 지향, 화학 전문 및 체화된 MLLMs를 오프라인의 단일 턴(single-turn) 환경에서 평가했습니다. 결과에 따르면 현재 모델들은 비디오에서 거친(coarse) 실험 절차를 따를 수는 있지만, 여전히 행동을 작동 가능한 영역과 실현 가능한 궤적에 접지하는 것, 미세한 실험실 기구, 상태 및 안전 규범을 인식하는 것, 그리고 중간 길이의 절차에서 단계를 순서화하는 데 어려움을 겪고 있습니다. 따라서 BEAKER는 거친 절차적 이해와 실험실 실행에 필요한 정밀하고 행동 기반의 인식 사이의 명확한 격차를 드러내며, SDCLs 내 미래 MLLMs을 위한 진단 벤치마크 역할을 합니다.