Carbon-X를 소개합니다: 최고의 오픈 DNA 모델입니다.
저희는 14B 모델을 DNA와 텍스트로 미드트레이닝(midtrained)했으며, 이 모델은 모든 오픈 언어 모델을 능가하고 GPT-6.1 Sol과 비교할 수 있는 비용 효율성을 달성했습니다.
특정 염기 서열에 대해 질문하거나, 돌연변이가 무엇을 하는지 묻거나, 새로운 DNA를 생성하도록 요청해 보세요.
https://huggingface.co/HuggingFaceBio/Carbon-X
…
DNA 이해 및 생성에 대한 다섯 가지 벤치마크(benchmarks)에서 Carbon-X는 우리가 평가한 모든 오픈 언어 모델보다 뛰어난 성능을 보였습니다.
이는 Qwen3-14B 대비 27점 향상된 수치로, 언어 모델이 DNA 학습을 통해 얼마나 많은 이득을 얻을 수 있는지 보여줍니다.
블로그:
https://huggingface.co/spaces/HuggingFaceBio/Carbon-X-Release
…
Carbon-X의 가장 강력한 결과는 돌연변이 효과 예측과 DNA 서열 완성에서 나타납니다.
저희는 Qwen3-14B를 300B 토큰 분량의 DNA, 영어 및 인터리브드(interleaved) 데이터로 먼저 미드트레이닝하여 Carbon-X를 구축했습니다.
또한 BPE(Byte Pair Encoding) 방식으로 영어를 토큰화하고 6-mer 토크나이저(tokenizer)로 DNA를 토큰화하는 하이브리드 토크나이저를 사용했습니다.
미드트레이닝은 순수하게 RL(강화학습, Reinforcement Learning)만으로는 얻을 수 없었던 이득을 열어주었습니다.
FrontierVEP에서 Qwen3-14B에 직접 적용된 RL은 훈련 과정 내내 무작위 확률 기준선인 50%를 넘어서지 못했습니다. 미드트레이닝된 체크포인트부터 시작하여, 동일한 접근 방식은 단순한 우연을 넘어섰습니다.
Carbon-X는 또한 서브 에이전트(sub-agent)로서 다른 모델의 DNA 이해도를 향상시킬 수도 있습니다. 저희 에이전트 평가에서 Kimi K3에게 Carbon-X를 자문하도록 요청하자, 그 모델의 DNA 지능 지수(DNA intelligence index)가 5가지 벤치마크 전반에 걸쳐 49.4%에서 60.5%로 향상되었으며, 이는 11.1 퍼센트 포인트의 개선을 의미합니다.
이 연구는 생물학 분야 AI에서 오픈 사이언스(open science)가 왜 중요한지를 강조합니다. 최첨단 모델들은 종종 일상적인 유전체학 요청을 거부하는 경향이 있어 합법적인 연구를 방해할 수 있습니다.
다음 염기 예측에 대해, Opus 5.5는 추론 노력이 낮을 때 17.7%에서 최대치로 올라갈수록 1.1%까지 떨어지며 거부율(refusals)이 높아지는 경향을 보입니다.
저희는 Carbon-X가 연구자들이 DNA를 새로운 방식으로 탐색하는 데 도움이 되기를 바랍니다. 이를 공개적으로 출시한다는 것은 누구나 그 역량과 한계를 연구하고 더 발전시킬 수 있다는 의미입니다.
블로그: