Artificial Analysis 평가에서 Google Gemini 4 Hydrogen이 Intelligence Index 54점으로 Claude Sonnet 5.5(max), GPT-6.1 Sol(max)보다 1점 낮게 나옴
비용은 Sonnet의 약 32%이고 GPT-6.1 Sol의 약 2.5배임
Google DeepMind가 6주 만에 세 번째 새 모델을 공개함
Gemini 4 Hydrogen은 xhigh 추론 단계가 새로 들어갔고 시각 추론과 환각 방지에서 강점을 보임
high 추론에서는 Gemini 4 Argon과 같은 Intelligence 점수를 작업당 비용 약 19%로 냄
주요 내용
xhigh 추론 단계는 Intelligence Index 54점임
xhigh는 Gemini 모델 최초로 high 위에 생긴 추론 단계임
Gemini 4 Argon(high)보다 4점 높음
기본값인 high 추론에서는 51점으로 GPT-6.1 Sol(xhigh, 52점), Claude Opus 5.5(high, 52점)에 바로 뒤처짐
시각 추론, 발표 자료 품질, 환각 방지에서 강함
긴 문서를 보고 푸는 시각 추론 벤치마크 GDP.pdf에서 medium 추론으로 all-pass 33%를 기록해 공동 1위임
AA-Omniscience에서 환각률은 8%로, 기록된 모델 중 가장 낮은 편임
비교하면 Claude Sonnet 5.5(max)는 43%, GPT-6.1 Sol(max)는 52%임
에이전트형 지식 노동 평가인 AA-Briefcase에서는 평가자들이 Hydrogen의 발표 자료 품질을 Carbon을 포함한 다른 Gemini 모델보다 높게 평가함
터미널 기반 에이전트 작업은 상대적으로 약함
Hydrogen은 터미널 에이전트 코딩과 과학 연구 워크플로를 다루는 Terminal-Bench 4.0에서 54%, Terminal-Bench-Science 0.1에서 50%를 기록함
Claude Sonnet 5.5(max)는 64%와 53%임
GPT-6.1 Sol(max)는 56%와 58%임
xhigh 추론은 과학 과제에서 도움이 되어 Terminal-Bench-Science가 high의 41%에서 50%로 오름
Terminal-Bench 4.0은 두 단계 모두 54%로 차이가 없음
과학 점수는 분야별로 고른 편이며 지구과학 46%에서 물리과학 53%까지임
지능 대비 비용은 낮지만 xhigh에서는 토큰 사용량이 많음
가격은 입력/출력 100만 토큰당 1.50달러/7.50달러임
xhigh에서 작업당 비용은 거의 같은 지능의 Claude Sonnet 5.5(max)의 약 32%이고 GPT-6.1 Sol(max)의 약 2.5배임
xhigh는 high보다 출력 토큰이 거의 두 배 많고 Intelligence 점수는 3점 오름
작업당 비용은 xhigh 3.16달러에서 high 1.87달러로 내려감
medium(0.80달러)과 low(0.29달러)는 더 싸지만 Intelligence Index는 각각 41점과 27점임
작업당 시간 대비 지능 파레토 프런티어에 올라 있음
출력 속도는 초당 약 200 토큰임
high, medium, low 추론에서 Hydrogen은 작업당 시간 대비 Intelligence 파레토 프런티어에 있음
더 똑똑하면서 작업당 시간이 더 짧은 모델이 없다는 뜻임
모델 정보
컨텍스트 윈도우는 100만 토큰임
멀티모달은 텍스트, 이미지, 영상, 음성 입력에 텍스트 출력임
추론 단계는 low, medium, high, xhigh 네 가지이며 xhigh가 이번에 새로 추가됨
가격은 입력/출력 100만 토큰당 1.50달러/7.50달러임
캐시된 입력 토큰은 95% 할인된 0.075달러임
