Hydrogen-1.0: 오픈 웨이트 과학 모델이 FSR에서 GPT-6 Astra를 능가하며 예상 출력 비용을 72% 절감하다 [P]

여러분, 안녕하세요— 저희는 Mira AI Scientist의 Deep Principle 팀입니다. 저희는 화학, 재료 과학 및 생명 과학 분야를 위해 GLM-5.3으로부터 사후 학습된 오픈 웨이트 모델인 Hydrogen-1.0을 출시했습니다. 평가에서 이 모델이 어떻게 성능을 보였는지 알려드리겠습니다: FrontierScience Research(FSR)에서는 최대 사고 과정(max thinking)에서 GPT-6 Astra가 33.3%를 기록한 반면, 저희는 38.3%의 합격률을 보여 5 퍼센트 포인트 앞섰습니다. FSR에서의 예상 출력 비용은 문제당 $0.25로, 최대 사고 과정에서 Astra가 책정한 $0.88보다 약 72% 낮았습니다. GPQA Diamond에서는 Kimi K3의 93.5%와 비교하여 92.9%의 정확도를 기록했습니다. 별도의 내부 작업 세트에서는 Hydrogen가 과학 컴퓨팅(scientific computing) 분야에서 (+5.13 퍼센트 포인트), 단일 단계 전진 반응 예측(single-step forward reaction prediction) 분야에서 (+4.76 포인트) 최대 사고 과정에서 GPT-6 Astra보다 높은 점수를 기록했습니다. 다만, NMR 구조 규명(NMR structure elucidation)에서는 Astra에 비해 3.33 포인트 낮은 점수를 받았습니다. 자세한 내용은 평가와 다섯 가지 워크플로우 예시를 다룬 글을 참고해 주십시오.

저희가 이 모델을 만든 이유: 연구 목적으로 LLM을 사용해 본 적이 있다면, 아마도 스스로 단계를 연결하는 데 상당한 시간을 할애했을 것입니다. 즉, 질문을 계획으로 바꾸고, 입력을 준비하고, 도구를 실행하며, 출력을 확인하고, 무언가 문제가 생겼을 때 무엇을 시도해야 할지 파악하는 과정입니다. 저희는 과학적 워크플로우로 학습시키는 것이 모델이 이러한 연결된 의사결정 처리에 더 능숙하게 만들 수 있는지 알아보고 싶었습니다.

학습 방식: 저희는 지도 미세 조정(supervised fine-tuning)과 강화 학습(reinforcement learning)을 도메인 데이터, 과학자 피드백, 자체 실험실 기록, 그리고 발견 궤적을 사용하여 진행했습니다. 실험실 기록은 연구 목표, 절차, 관찰 결과 및 결과를 함께 보존합니다. 발견 궤적에는 피드백이나 실패한 시도, 예상치 못한 결과에 따라 다음 단계가 어떻게 변화하는지가 포함됩니다. SFT는 모델에게 과학적 추론, 실험 계획, 프로토콜 설계 및 분석에 대한 작업 예시를 제공합니다. RL은 연구 결과에 대한 피드백을 사용하여 의사결정을 개선합니다.

워크플로우 작동 방식: 본문은 다섯 가지 사례를 통해 워크스루를 보여줍니다.

1. 고분자 분자 역학(Polymer molecular dynamics): Python으로 폴리에틸렌 멜트를 구축하고, GROMACS를 실행하며, 토폴로지를 확인 및 수리한 후 시뮬레이션을 재개합니다. 출력물에는 수정된 40 ns 궤적과 밀도, 분자 패킹, 확산, 사슬 치수 분석이 포함됩니다.
2. 반응 네트워크(Reaction networks): 연결된 분자 구조, 경쟁 경로, 기록된 에너지 장벽을 탐색합니다.
3. NMR 해석: 공급된 양성자 NMR 스펙트럼과 7개의 후보 구조를 비교합니다.
4. 실험 계획 수립: 장비 역량 및 조치 전제 조건을 가상으로 확인하며, 12-바이알(vial)의 Suzuki 커플링 연구에 대한 기계 판독 가능 프로토콜을 생성합니다.
5. 재료 검색: 다섯 차례에 걸친 피드백을 사용하여 더 큰 HOMO–LUMO 간격을 가진 전이 금속 착물 탐색을 안내합니다.

참고 사항: 이것들은 전체 자율 연구 성공률이 아니라, 선정된 모델-플러스-도구(model-plus-tool) 워크스루입니다. GROMACS가 MD 계산을 수행하며, 프로토콜 검증은 가상적입니다—이는 실제 실험이 수행되었다는 의미는 아닙니다.

첨부된 비디오는 연구 상호작용을 빠르게 보여줍니다. 본문에는 상세한 워크스루, 평가 및 훈련 접근 방식이 포함되어 있습니다.

링크 (가중치 및 모델 카드): Hugging Face의 Hydrogen-1.0 기술 문서, 평가 및 사례: Hydrogen-1.0 소개하기 시도해보기: Mira AI 과학자

계산 화학(computational chemistry) 및 재료 과학 분야에서 일하는 분들의 의견을 특히 듣고 싶습니다. 가장 먼저 무엇에 적용해 보시겠습니까? 그리고 결과에 신뢰를 주기 전에 무엇을 확인하시겠습니까?
제출자: /u/AKAMA199 [링크] [댓글]