Carbon-X를 소개합니다: 최고의 오픈 DNA 모델입니다.
저희는 14B 모델을 DNA와 텍스트로 미드트레이닝(midtrained)했으며, 이 모델은 모든 오픈 언어 모델을 능가하고 GPT-6.1 Sol과 1,000배 낮은 비용으로 일치합니다.
이 모델에게 시퀀스에 대해 질문하거나, 돌연변이가 무엇을 하는지 물어보거나, 새로운 DNA를 생성하도록 요청할 수 있습니다.
https://huggingface.co/HuggingFaceBio/Carbon-X
…
DNA 이해 및 생성에 대한 다섯 가지 벤치마크에서 Carbon-X는 저희가 평가한 모든 오픈 언어 모델을 능가했습니다.
이는 Qwen3-14B 대비 27점 향상된 수치로, 언어 모델이 DNA 트레이닝을 통해 얼마나 많은 이득을 얻을 수 있는지 보여줍니다.
블로그: https://huggingface.co/spaces/HuggingFaceBio/Carbon-X-Release
…
Carbon-X의 가장 강력한 결과는 돌연변이 효과 예측과 DNA 시퀀스 완성에서 나타납니다.
저희는 Qwen3-14B를 먼저 300B 토큰 분량의 DNA, 영어 및 인터리브드(interleaved) 데이터로 미드트레이닝하여 Carbon-X를 구축했습니다.
또한 BPE(Byte Pair Encoding)로 영어를 토크나이징하고 6-머 토크나이저(6-mer tokenizer)로 DNA를 토크나이징하는 하이브리드 토크나이저를 사용했습니다.
미드트레이닝은 (RL: 강화학습)만으로는 제공할 수 없었던 이득을 열었습니다.
FrontierVEP에서 Qwen3-14B에 직접 적용된 (RL)은 저희의 모든 트레이닝 과정 동안 50% 무작위 추측 기준선(random-chance baseline) 이상으로 상승하지 못했습니다. 미드트레이닝 체크포인트부터 시작한 동일한 접근 방식은 단순한 우연을 넘어섰습니다.
Carbon-X는 서브 에이전트(sub-agent)로서 다른 모델의 DNA 이해도를 향상시킬 수도 있습니다. 저희 에이전트 평가에서 Kimi K3에게 Carbon-X를 자문하도록 요청하자, 그 모델의 DNA 지능 지수(DNA intelligence index)가 5가지 벤치마크 전반에 걸쳐 49.4%에서 60.5%로 상승하여 11.1 퍼센트 포인트 향상을 보였습니다.
이 연구는 생물학 분야의 AI에서 오픈 사이언스(open science)가 왜 중요한지를 강조합니다. 최첨단 모델들은 종종 일상적인 유전체학 요청을 거부하는 경향이 있어 합법적인 연구를 방해할 수 있습니다.
다음 염기 예측에 대해, Opus 5.5는 추론 노력이 낮을 때 17.7%에서 최대치로 올라갈수록 거부율이 높아지면서 1.1%까지 떨어집니다.