Carbon-X를 소개합니다: 최고의 오픈 DNA 모델입니다.
저희는 14B 모델을 DNA 및 텍스트 데이터로 미드트레이닝(midtrained)했으며, 이 모델은 모든 오픈 언어 모델을 능가하고 GPT-6.1 Sol과 비교 가능한 수준에 도달했습니다. 다만 비용은 1,000배 낮습니다.
이 모델에게 염기 서열에 대해 질문하거나, 돌연변이가 무엇을 하는지 물어보거나, 새로운 DNA를 생성하도록 요청할 수 있습니다.
https://huggingface.co/HuggingFaceBio/Carbon-X
...
DNA 이해 및 생성의 5가지 벤치마크에서 Carbon-X는 저희가 평가한 모든 오픈 언어 모델보다 뛰어난 성능을 보였습니다.
이는 Qwen3-14B 대비 27점 향상된 수치로, 언어 모델이 DNA 트레이닝을 통해 얼마나 많은 이득을 얻을 수 있는지 보여줍니다.
블로그:
https://huggingface.co/spaces/HuggingFaceBio/Carbon-X-Release
...
Carbon-X의 가장 강력한 결과는 돌연변이 효과 예측과 DNA 서열 완성에 있습니다.
저희는 Qwen3-14B를 먼저 300B 토큰 분량의 DNA, 영어 및 인터리브드 데이터로 미드트레이닝하여 Carbon-X를 구축했습니다.
또한 BPE(Byte Pair Encoding)로 영어를 토큰화하고 6-mer 토크나이저로 DNA를 토큰화하는 하이브리드 토크나이저를 사용했습니다.
미드트레이닝은 RL(강화학습)만으로는 제공할 수 없었던 이득을 열어주었습니다.
FrontierVEP에서 Qwen3-14B에 직접 적용된 RL은 저희의 모든 트레이닝 과정 동안 50% 무작위 확률 기준선 이상으로 올라가지 못했습니다. 미드트레이닝된 체크포인트부터 시작하여, 동일한 접근 방식은 단순한 우연을 넘어섰습니다.
Carbon-X는 또한 서브 에이전트(sub-agent)로서 다른 모델의 DNA 이해도를 향상시킬 수 있습니다. 저희 에이전트 평가에서 Kimi K3에게 Carbon-X를 자문하도록 요청하자, 그 모델의 DNA 지능 지수가 5가지 벤치마크 전반에 걸쳐 49.4%에서 60.5%로 상승하여 11.1 퍼센트 포인트가 개선되었습니다.
이 연구는 생물학 분야 AI에서 오픈 사이언스(open science)가 왜 중요한지 강조합니다. 프론티어 모델들은 종종 일상적인 유전체학 요청을 거부하는 경향이 있어, 합법적인 연구를 방해할 수 있습니다.
다음 염기 예측에 대해 Opus 5.5는 추론 노력이 낮을 때 17.7%에서 최대일 때는 그 거부율이 높아지면서 1.1%로 떨어집니다.
저희는 Carbon-X가 연구자들이 DNA를 새로운 방식으로 탐구하는 데 도움이 되기를 바랍니다. 이를 공개적으로 출시한다는 것은 누구나 그 역량과 한계를 연구하고, 더 멀리 나아갈 수 있다는 의미입니다.
블로그: